Come controllare il tuo robots.txt (e la riga che deindicizza un sito)

Il file robots.txt è composto da poche righe di testo semplice che quasi nessuno guarda mai, eppure una di quelle righe può impedire ai motori di ricerca di scansionare un intero sito. È facile da leggere una volta capita la sintassi, facile da sbagliare, e una modifica errata può avere effetto su tutte le pagine contemporaneamente. Ecco come trovare e leggere un robots.txt, quale sia la riga che causa più danni, come controllarlo correttamente, e perché una modifica a questo file rappresenti uno dei fallimenti silenziosi più pericolosi in ambito SEO.

Deltio monitora i siti dei tuoi clienti per rilevare modifiche al robots.txt e ti avvisa su Slack nel momento in cui ne appare una. A partire da £20 al mese.

Cosa fa il robots.txt, e cosa non fa

Il file robots.txt si trova nella root di un dominio e indica ai crawler dei motori di ricerca quali parti del sito possono e non possono scansionare. È uno strumento di controllo della scansione, e capire questo ambito ristretto è la chiave per non usarlo in modo scorretto.

La distinzione più importante è questa: il robots.txt controlla la scansione, non l'indicizzazione. Bloccare un URL nel robots.txt chiede a Google di non scaricarlo. Questo non rimuove in modo affidabile quell'URL dai risultati di ricerca, e non è la stessa cosa di un noindex. Anzi, i due possono lavorare l'uno contro l'altro, perché se blocchi una pagina nel robots.txt, Google non può scansionarla, il che significa che non può nemmeno leggere un eventuale noindex presente su quella pagina. Se il tuo obiettivo è tenere una pagina fuori dai risultati, noindex è lo strumento giusto, e la pagina deve rimanere scansionabile. Approfondiamo questo aspetto in il tag noindex, spiegato.

Come trovare e leggere un robots.txt

Ogni robots.txt si trova nello stesso posto: la root del dominio, all'indirizzo yoursite.com/robots.txt. Digitalo in un browser e vedrai il file di qualsiasi sito sul web. Leggerlo si riduce a quattro direttive:

• User-agent: indica a quale crawler si applicano le regole seguenti. User-agent: * significa tutti i crawler.
• Disallow: elenca un percorso che il crawler non dovrebbe scaricare. Disallow: /admin/ blocca quella cartella.
• Allow: ritaglia un'eccezione all'interno di un percorso bloccato.
• Sitemap: indica la sitemap XML del sito in modo che i motori possano scoprirla.

Un file tipico e in salute assomiglia a questo:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /
Sitemap: https://yoursite.com/sitemap.xml

Questo significa: tutti i crawler possono accedere al sito, tranne le cartelle admin e cart, ed ecco la sitemap. Niente di allarmante.

La riga che può mettere fuori uso un intero sito

Ecco la riga da temere:

User-agent: *
Disallow: /

Disallow: / blocca l'intera scansione del sito. Tutte le pagine, in un colpo solo. Questa è esattamente l'impostazione che un ambiente di staging o sviluppo usa intenzionalmente, in modo che i motori di ricerca lo ignorino. Il disastro avviene quando questo robots.txt di staging viene distribuito in produzione, cosa che succede più spesso di quanto si voglia ammettere. Il sito live continua a funzionare perfettamente per i visitatori. I crawler, nel frattempo, ricevono l'istruzione di stare fuori da tutto, e col tempo la presenza del sito nei motori di ricerca si deteriora.

Poiché il robots.txt è un unico file nella root, il suo raggio d'azione è l'intero dominio. Un carattere fuori posto in una sola riga può influire su ogni pagina del sito, il che lo rende uno dei file a più alto rischio che un'agenzia non pensa mai di controllare.

Come controllare correttamente un robots.txt

• Recuperalo direttamente. Visita yoursite.com/robots.txt e leggilo. Cerca in particolare eventuali Disallow: / sotto User-agent: *, e conferma che la riga Sitemap: punti alla sitemap corretta e attiva.
• Usa Search Console. Google Search Console ha un report robots.txt che mostra il file recuperato, quando è stato letto l'ultima volta, ed eventuali problemi di parsing. È la visione autorevole di ciò che Google vede effettivamente.
• Testa un URL specifico. Gli strumenti di Search Console ti permettono di verificare se un determinato URL è bloccato, il che è utile quando solo una parte del sito è interessata.
• Esegui un crawler. Un crawler segnalerà quali URL sono bloccati dal robots.txt in tutto il sito, utile per individuare una regola che blocca più di quanto dovrebbe.

Tutte queste soluzioni rispondono alla domanda "cosa dice il robots.txt in questo momento?". Nessuna di esse ti dice quando cambia.

Perché le modifiche al robots.txt sono così pericolose, e così invisibili

Due cose rendono il robots.txt un rischio unico nel suo genere. Primo, la sua portata: un solo file, un intero sito. Secondo, la sua invisibilità: nulla nel sito live appare diverso quando il robots.txt si rompe. Le pagine si caricano, i moduli funzionano, tutto è verde. L'unico sintomo è una perdita graduale di scansione e, alla fine, di posizionamento, che si manifesta settimane dopo in un grafico del traffico, molto tempo dopo la modifica.

E il robots.txt viene modificato per i motivi più svariati, che non hanno nulla a che fare con la SEO: una migrazione di piattaforma, una nuova configurazione di hosting, un plugin di sicurezza, uno sviluppatore che sta testando qualcosa. Chiunque di questi può copiare un Disallow: / in produzione o eliminare la riga Sitemap:, e a meno che qualcuno non apra il file per caso, nessuno lo saprà.

Per un'agenzia che gestisce siti non sotto il proprio controllo diretto, questo è il rischio peggiore possibile: alto impatto, nessun avviso, e nessuno che sorveglia. Non puoi aprire il robots.txt di ogni cliente ogni mattina.

Come Deltio individua le modifiche al robots.txt

Deltio recupera e controlla il robots.txt dei siti dei tuoi clienti con un ciclo giornaliero. Quando il file cambia, che appaia un nuovo Disallow, che venga eliminato il riferimento alla sitemap, o che l'intero file si trasformi in un blocco della scansione, ricevi un avviso in linguaggio semplice su Slack che indica il sito, lo stesso giorno. Questo trasforma il file più pericoloso di un sito, da qualcosa che nessuno monitora, in qualcosa di cui vieni semplicemente informato. Deltio sorveglia allo stesso modo i segnali di indicizzazione correlati, noindex, i canonical, e la sitemap stessa, perché questi elementi tendono a fallire insieme più spesso che singolarmente. Scopri come sono strutturati gli avvisi in avvisi di modifica SEO.

In breve

Il robots.txt si trova nella root di un dominio, controlla la scansione e non l'indicizzazione, e si legge tramite quattro direttive: User-agent, Disallow, Allow, e Sitemap. La riga da tenere d'occhio è Disallow: /, che blocca l'intero sito e nella maggior parte dei casi arriva per errore da un deploy di staging. Controllare il file ti dice cosa dice oggi. Sui siti di cui sei responsabile, ciò di cui hai realmente bisogno è sapere il giorno esatto in cui cambia, perché con il robots.txt, nel momento in cui il traffico lo rivela, settimane di scansione sono già andate perse.

Aggiungi il primo sito cliente, collega Slack, e Deltio inizia a monitorare dallo stesso giorno. Inizia la tua prova gratuita di 14 giorni e assicurati che il prossimo robots.txt problematico raggiunga prima te.