Einige Informationen über Google (und manchmal Bing), die in letzter Zeit hier und da gesammelt wurden, bieten diese Woche Antworten auf folgende Fragen: Ist es möglich, eine TLD vollständig abzulehnen und wie? Ist die Crawl-Grenze von Google endgültig?

Goossip #1

Wie lehnen wir eine TLD ab

John Mueller (Google) erklärte, dass es möglich ist, eine TLD (zum Beispiel .xyz) über die Direktive domain:abc in der Disavow-Datei abzulehnen. Dazu genügt es, die domain:xyz in die Disavow-Datei aufzunehmen, um alle Links von dieser TLD abzulehnen. Es ist jedoch nicht möglich, Ausnahmen für bestimmte Domainnamen innerhalb der abgelehnten TLD zu machen.

Warum es nützlich ist: Günstige TLDs mit angemessenen Nutzungsbedingungen werden von Spammern intensiv genutzt. Diese Funktion spart Zeit, anstatt Hunderte von Domainnamen einzeln abzulehnen.

John Mueller räumt ein, dass dies nicht offiziell dokumentiert ist, da es ein sehr mächtiges Werkzeug ist ("ein großer Hammer"). Dennoch zögert Google, dies ausdrücklich zu empfehlen, da es auch einige gute Seiten unter allen TLDs gibt.

Zuverlässigkeitsbewertung: ⭐⭐⭐ Wir stimmen zu!

Haben Sie jemals daran gedacht, einen Zerstörungskugel zu verwenden, um eine Mücke zu töten? Diese Technik ähnelt ein wenig dem. Obwohl das Verfahren nicht neu ist, ist es aufgrund seiner Radikalität und etwas Risiko nicht sehr bekannt.

Goossip #2

Die Crawl-Grenzen von Googlebot sind flexibel

In der letzten Folge von Search Off The Record haben Gary Illyes und Martin Splitt aufgezeigt, dass die Crawl-Grenzen von Googlebot viel flexibler sind, als wir denken. Die Grenze von 15 MB ist eine standardmäßige Grenze, die auf Infrastruktur-Ebene festgelegt wurde, um die Server von Google zu schützen. Sie ist nicht endgültig: Jedes interne Team kann dies ändern. Zum Beispiel kann Google Search dies auf 2 MB reduzieren, während die Grenze für PDFs bis zu 64 MB betragen kann.

Warum diese Grenzen existieren: Es geht nicht nur um Bandbreite, sondern auch um den Schutz der Infrastruktur. Die Verarbeitung eines übergroßen Dokuments (Konvertierung, Indizierung usw.) kann die Systeme von Google überlasten.

Martin Splitt betonte, dass Googlebot kein festes und einheitliches System ist, sondern eher wie ein dienst ist, dessen Einstellungen geändert werden können. Die Parameter können je nach Art des Inhalts (HTML, PDF, Bilder), Projekt und sogar der gewünschten Indizierungsgeschwindigkeit variieren.

Zuverlässigkeitsbewertung: ⭐⭐⭐ Wir stimmen zu!

Dies ist ein interessantes (und nützliches) Detail, das Fachleute etwas beruhigen wird und diejenigen, die kürzlich von Googles Erklärungen zu diesem Thema betroffen waren, wieder beruhigen könnte.