Cos'è un alert sulle modifiche di robots.txt?

È una notifica che scatta quando il file `robots.txt` di un sito viene modificato, aggiunto o rimosso. Siccome il `robots.txt` decide quali crawler possono accedere a quali parti del sito, una singola riga cambiata può bloccare i motori di ricerca sull'intero dominio. L'alert te lo dice in pochi minuti invece che dopo settimane.

Come faccio a essere avvisato quando cambia il robots.txt?

Serve qualcosa che scarichi il file a intervalli regolari, lo confronti con la versione precedente e ti notifichi quando il contenuto è diverso. I controlli manuali e i report di Search Console non ti mandano una notifica in tempo utile. Uno strumento di monitoraggio come Deltio fa il download, il confronto e l'invio dell'alert via email o Slack in automatico.

Il robots.txt toglie una pagina da Google?

No. Il `robots.txt` blocca la scansione, non l'indicizzazione. Una URL bloccata può comunque comparire nei risultati, di solito senza descrizione. Per rimuovere una pagina dall'indice devi lasciare che Google la scansioni e servire un `noindex`, perché un `noindex` su una pagina bloccata dal `robots.txt` non viene mai letto.

Cosa succede se il robots.txt risponde con un errore 500?

Google può interpretare gli errori server persistenti sul `robots.txt` come se tutto il sito fosse disallowed e sospendere la scansione finché il file non risponde di nuovo correttamente. Una 5xx su questo file è seria quanto una regola `Disallow: /`: va monitorato lo status code, non solo il contenuto.

Quanto costa monitorare il robots.txt con Deltio?

I piani Deltio partono da £24 al mese, o £20 al mese con fatturazione annuale, e includono il monitoraggio del robots.txt insieme a sitemap, SEO, uptime, SSL e scadenza dominio. La prova gratuita dura 14 giorni.

← Torna al blog

Alert quando cambia il robots.txt: come farsi avvisare subito

Un alert sulle modifiche di robots.txt ti avvisa nel momento esatto in cui cambiano le regole di crawl, prima che un Disallow: / di troppo ti costi tutto il sito. robots.txt è un file di testo che può impedire a Googlebot di scansionare ogni singola pagina, e quando succede non si rompe niente. Deltio monitora il robots.txt di tutti i siti clienti, rileva quando il file compare, sparisce o viene modificato, mostra il diff delle righe aggiunte e rimosse e ti notifica subito via email e Slack. Da £20 al mese, con 14 giorni di prova gratuita.

Ogni SEO ha la sua storia sul robots.txt. Un deploy porta in produzione la configurazione di staging, il Disallow: / va online, Googlebot smette di scansionare. Niente sembra rotto: il sito carica, le pagine si vedono, Analytics gira. Due settimane dopo le impression scendono, le pagine escono dalla SERP e solo allora qualcuno apre il file. Qui parliamo di alerting. Per leggere e validare il file, parti da come controllare il robots.txt.

Il file più piccolo con il raggio d'azione più grande

robots.txt sta nella root del dominio (https://esempio.it/robots.txt) e decide quali crawler possono richiedere quali percorsi. Una decina di righe. Ognuna può costare cara.

Disallow: / blocca ogni percorso per ogni user agent. Gli ambienti di staging lo hanno di serie: è per questo che finisce in produzione.
Le regole su directory tipo Disallow: /blog/ tolgono dal crawl un'intera sezione senza toccare una pagina.
Il file che sparisce non è fatale (un 404 vale "scansiona tutto"), ma con lui se n'è andata la riga Sitemap:.
Una risposta 5xx è il caso peggiore: su un errore server Google può trattare il sito come completamente disallowed finché il file non torna raggiungibile.

Bloccare il crawl non è togliere dall'indice

Il robots.txt governa la scansione. Il noindex governa l'indicizzazione. Confonderli è la causa di quasi tutti i danni da robots.txt.

Una pagina bloccata dal robots.txt può restare nei risultati, di solito senza descrizione: Google sa che l'URL esiste ma non ha mai potuto scaricarlo.
Se la blocchi e ci metti un noindex, Google non la scansiona mai, quindi non legge mai il noindex. La pagina resta indicizzata.
Per toglierla dall'indice lasciala scansionabile e servi il noindex (la guida sul tag noindex copre questa metà). Per tenerla fuori dal crawl usa il robots.txt, accettando che possa comunque comparire in SERP.

I cambiamenti che meritano un alert

Compare Disallow: /: blocco totale. Trattalo come un incidente di produzione.
Nuovo Disallow: su una directory importante: blog, prodotti, categorie, paginazione. Qualcuno voleva risparmiare crawl budget e ha esagerato.
Il file sparisce, va in 404 o inizia a rispondere 5xx: via le regole e il riferimento alla sitemap, e una 5xx persistente è pericolosa quanto una regola sbagliata.
Viene rimossa la riga Sitemap:: silenziosissimo, e la scoperta delle nuove URL rallenta.
Regole mirate a Googlebot: un blocco User-agent: Googlebot non è quasi mai un caso, ed è quasi sempre un problema.
Compaiono blocchi ai crawler AI: GPTBot, ClaudeBot, PerplexityBot, Google-Extended. A volte è una scelta, a volte il default di un plugin.

Perché i controlli manuali non bastano

Aprire /robots.txt nel browser funziona una volta sola: il giorno in cui te ne ricordi. Su 20 siti clienti, un controllo settimanale significa scoprirlo fino a sette giorni dopo, e un deploy del venerdì ha tutto il weekend per fare danni. Il report robots.txt di Search Console mostra le versioni scaricate e il loro stato: serve per la diagnosi, non come allarme. Non ti manda un'email quando cambia una riga. Quando leggi "Bloccata da robots.txt", la scansione si è già fermata.

Come lo fa Deltio

Deltio controlla il robots.txt di ogni sito che aggiungi e rileva tre cose: il file che compare, che sparisce, che cambia. Quando il contenuto cambia ricevi il diff delle righe aggiunte e rimosse: vedi la regola esatta introdotta, senza confrontare due file a occhio. La notifica parte subito via email e su Slack, con il link diretto alla dashboard, nella tua lingua e nel tuo fuso orario.

Gira insieme al resto del monitoraggio dello stesso sito: snapshot giornaliero della sitemap, controlli SEO su title, meta description, H1, canonical e hreflang, uptime ogni 10 minuti, avvisi SSL, scadenza del dominio. Una dashboard sola, un unico set di alert sui cambiamenti SEO per 5-50 siti clienti.

Parti da un sito

Aggiungi il sito che ti preoccupa di più: quello con i deploy più frequenti, o il cliente i cui sviluppatori non ti dicono niente. Deltio scarica il suo robots.txt, lo tiene d'occhio e ti avvisa la prossima volta che una riga si muove. Da £20 al mese con fatturazione annuale (£24 al mese), 14 giorni di prova gratuita.

Domande frequenti

Cos'è un alert sulle modifiche di robots.txt?: È una notifica che scatta quando il file `robots.txt` di un sito viene modificato, aggiunto o rimosso. Siccome il `robots.txt` decide quali crawler possono accedere a quali parti del sito, una singola riga cambiata può bloccare i motori di ricerca sull'intero dominio. L'alert te lo dice in pochi minuti invece che dopo settimane.
Come faccio a essere avvisato quando cambia il robots.txt?: Serve qualcosa che scarichi il file a intervalli regolari, lo confronti con la versione precedente e ti notifichi quando il contenuto è diverso. I controlli manuali e i report di Search Console non ti mandano una notifica in tempo utile. Uno strumento di monitoraggio come Deltio fa il download, il confronto e l'invio dell'alert via email o Slack in automatico.
Il robots.txt toglie una pagina da Google?: No. Il `robots.txt` blocca la scansione, non l'indicizzazione. Una URL bloccata può comunque comparire nei risultati, di solito senza descrizione. Per rimuovere una pagina dall'indice devi lasciare che Google la scansioni e servire un `noindex`, perché un `noindex` su una pagina bloccata dal `robots.txt` non viene mai letto.
Cosa succede se il robots.txt risponde con un errore 500?: Google può interpretare gli errori server persistenti sul `robots.txt` come se tutto il sito fosse disallowed e sospendere la scansione finché il file non risponde di nuovo correttamente. Una 5xx su questo file è seria quanto una regola `Disallow: /`: va monitorato lo status code, non solo il contenuto.
Deltio mi avvisa quando cambia il robots.txt?: Sì. Deltio rileva quando il `robots.txt` compare, sparisce o viene modificato su qualsiasi sito monitorato, mostra il diff delle righe aggiunte e rimosse e invia subito una notifica via email e Slack. L'alert si può attivare o disattivare per tipo di evento.
Quanto costa monitorare il robots.txt con Deltio?: I piani Deltio partono da £24 al mese, o £20 al mese con fatturazione annuale, e includono il monitoraggio del robots.txt insieme a sitemap, SEO, uptime, SSL e scadenza dominio. La prova gratuita dura 14 giorni.