Alcune informazioni recenti su Google (e a volte Bing) ottenute qui e là offrono risposte a queste domande questa settimana: È possibile rifiutare completamente un TLD e come? Il limite di crawling di Google è definitivo?

Goossip #1

Come Rifiutare un TLD

John Mueller (Google) ha spiegato che è possibile rifiutare un TLD (ad esempio .xyz) nel file di rifiuto dei link tramite la direttiva domain:abc. Per fare ciò, è sufficiente aggiungere domain:xyz al file di rifiuto per bloccare tutti i link provenienti da questo TLD. Tuttavia, non è possibile fare eccezioni per nomi di dominio specifici all'interno del TLD rifiutato.

Perché è utile: I TLD economici con termini di utilizzo appropriati sono ampiamente utilizzati dagli spammer. Questa funzionalità consente di risparmiare tempo invece di rifiutare centinaia di nomi di dominio uno per uno.

John Mueller ammette che ciò non è documentato ufficialmente perché è uno strumento molto potente ("un grande martello"). Tuttavia, poiché ci sono comunque alcuni buoni siti in tutti i TLD, Google è riluttante a raccomandarlo esplicitamente.

Affidabilità: ⭐⭐⭐ Siamo d'accordo!

Hai mai pensato di usare una palla demolitrice per uccidere una zanzara? Questa tecnica è un po' simile. Sebbene la procedura non sia nuova, è poco conosciuta proprio perché è radicale e un po' rischiosa.

Goossip #2

I Limiti di Crawling di Googlebot Sono Flessibili

Nell'ultimo episodio di Search Off The Record, Gary Illyes e Martin Splitt hanno rivelato che i limiti di crawling di Googlebot sono molto più flessibili di quanto pensiamo. Il limite di 15 MB è un limite predefinito stabilito a livello infrastrutturale per proteggere i server di Google. Non è definitivo: ogni team interno può modificarlo. Ad esempio, Google Search può ridurlo a 2 MB, mentre per i PDF questo limite può arrivare fino a 64 MB.

Perché esistono questi limiti: Non si tratta solo di una questione di larghezza di banda, ma anche di protezione dell'infrastruttura. L'elaborazione di un documento eccessivamente grande (conversione, indicizzazione, ecc.) può sovraccaricare i sistemi di Google.

Martin Splitt ha sottolineato che Googlebot non è un sistema fisso e uniforme, ma funziona più come un servizio i cui parametri possono essere modificati. I parametri possono variare in base al tipo di contenuto (HTML, PDF, immagini), al progetto e persino alla velocità di indicizzazione desiderata.

Affidabilità: ⭐⭐⭐ Siamo d'accordo!

Questo è un dettaglio interessante (e utile) che potrebbe rassicurare un po' i professionisti e ripristinare la fiducia di coloro che sono stati influenzati dalle recenti dichiarazioni di Google su questo argomento.