Verifica robots.txt gratis

Come lo strumento arriva al verdetto

Incolli l'URL completo di una pagina, scegli lo user agent e avvii il controllo. Lo strumento scarica /robots.txt dalla radice di quell'host e applica le regole come le descrive Google, seguendo la RFC 9309. Ogni host ha il suo file: https://shop.example.com ed https://example.com vanno verificati separatamente.

Il primo passo è scegliere il gruppo. Un crawler segue un solo gruppo, quello la cui riga User-agent corrisponde al suo nome nel modo più specifico. Se nel file c'è un gruppo User-agent: Googlebot, Googlebot segue quello e ignora tutto ciò che sta sotto User-agent: *. È un errore frequentissimo: si aggiunge un Disallow sotto * e Google continua a scansionare, perché il suo gruppo non ne parla.

Il secondo passo è il confronto con il percorso. Ogni Allow e Disallow del gruppo viene confrontato con percorso e query string dell'URL. * corrisponde a qualsiasi sequenza di caratteri e $ indica la fine dell'URL. Il confronto distingue maiuscole e minuscole, quindi Disallow: /Admin/ non blocca /admin/. Se corrispondono più regole vince la più lunga. Se un Allow e un Disallow della stessa lunghezza corrispondono entrambi, vince Allow. Se non corrisponde nulla, l'URL è consentito.

Come leggere il risultato

Il verdetto dice consentito o bloccato per lo user agent scelto. Sotto trovi la regola che decide con il suo numero di riga, il gruppo user-agent applicato e il file intero con le righe numerate, così vedi la regola nel suo contesto.

Prendi questo file:

User-agent: *
Disallow: /blog/
Allow: /blog/guides/
Disallow: /*.pdf$

Per /blog/guides/robots-basics/ corrispondono due regole, Disallow: /blog/ e Allow: /blog/guides/. L'Allow è più lunga, quindi la pagina è consentita. Per /blog/guides/checklist.pdf ti aspetteresti che vinca la regola sui PDF, ma la corrispondenza più lunga resta Allow: /blog/guides/: anche il PDF è scansionabile. Per /files/price-list.pdf corrisponde solo la regola sui PDF e l'URL è bloccato. Le regole con i caratteri jolly spesso perdono contro i percorsi di cartella lunghi, ed è per questo che conviene testare l'URL vero invece di ragionare sul file a occhio.

Quando il file manca o il server dà errore

Se /robots.txt risponde 404 o con un altro codice 4xx, i crawler considerano il sito senza restrizioni e tutto è consentito. Per molti siti piccoli va benissimo così.

Un errore 5xx, o un server che non risponde, è un'altra storia. Google lo tratta come un blocco temporaneo dell'intero sito e sospende la scansione finché non riesce a scaricare di nuovo il file. Un robots.txt che va in timeout per colpa di una regola del firewall o della CDN può fermare la scansione di tutte le pagine anche se nessuna riga del file blocca niente. Se lo strumento segnala un errore del server, apri il file nel browser e guarda prima di tutto i log dell'hosting o della CDN.

Cosa il robots.txt non fa

Bloccare un URL ferma la scansione, non l'indicizzazione. Una pagina bloccata può comparire comunque nei risultati se altre pagine la linkano, di solito senza descrizione. E siccome Google non può scaricarla, non vedrà mai un noindex messo su quella pagina. Per tenere una pagina fuori dall'indice lasciala scansionabile e usa noindex: la guida al tag noindex spiega come fare, e come verificare se una pagina è indicizzata mostra come controllare l'esito in Search Console.

Il robots.txt è poi una richiesta, non un controllo di accesso. Googlebot, Bingbot e GPTBot lo rispettano, tanti altri bot no: non usarlo mai per nascondere contenuti riservati.

Sbloccare una pagina bloccata per errore

Parti dalla riga che decide. Se è una regola ampia come un Disallow: / rimasto da un sito di staging, eliminala o restringila. Se una pagina dentro una cartella bloccata deve essere scansionata, aggiungi un Allow più lungo del Disallow che deve battere. Se il problema riguarda un solo crawler, cerca un gruppo dedicato a quello user agent: le regole aggiunte sotto * non lo raggiungono, quindi vanno copiate nel suo gruppo.

Quando il file corretto è online, ripeti il test sullo stesso URL e con lo stesso user agent. Google in genere tiene in cache il robots.txt fino a 24 ore. Per una correzione urgente, il rapporto robots.txt di Search Console mostra l'ultima versione scaricata da Google e permette di richiederne una nuova scansione. Per una procedura manuale più completa leggi come controllare il robots.txt.

Perché un controllo una tantum non basta

Questo test ti dice cosa contiene il file adesso. Il robots.txt cambia per motivi che con la SEO c'entrano poco: un deploy che porta in produzione il file di staging, l'aggiornamento di un plugin, uno sviluppatore che blocca un bot che caricava troppo il server. Nessuno avvisa chi segue la SEO, e il primo segnale di solito è un calo delle pagine scansionate qualche settimana dopo.

Deltio monitora il robots.txt di ogni sito che aggiungi. Quando il file compare, sparisce o cambia, ricevi subito un avviso via email o Slack con il diff delle righe aggiunte e rimosse, così vedi la regola che è cambiata e non un generico "file modificato". I piani partono da £24 al mese, o £20 al mese con fatturazione annuale, e c'è una prova gratuita di 14 giorni.