Qu'est-ce qu'une alerte de changement du robots.txt ?

C'est une notification déclenchée quand le fichier `robots.txt` d'un site est modifié, ajouté ou supprimé. Comme le `robots.txt` décide quels crawlers accèdent à quelles parties du site, une seule ligne modifiée peut bloquer les moteurs de recherche sur tout le domaine. L'alerte vous prévient en quelques minutes au lieu de plusieurs semaines.

Comment être averti quand le robots.txt change ?

Il faut un outil qui récupère le fichier à intervalles réguliers, le compare à la version précédente et vous notifie dès que le contenu diffère. Les vérifications manuelles et les rapports de la Search Console ne poussent pas de notification à temps. Un outil de monitoring comme Deltio fait la récupération, la comparaison et l'envoi de l'alerte par e-mail ou Slack automatiquement.

Le robots.txt retire-t-il une page de Google ?

Non. Le `robots.txt` bloque l'exploration, pas l'indexation. Une URL bloquée peut toujours apparaître dans les résultats, en général sans description. Pour retirer une page de l'index, il faut laisser Google l'explorer et servir un `noindex`, car un `noindex` posé sur une page bloquée par le `robots.txt` n'est jamais lu.

Que se passe-t-il si le robots.txt renvoie une erreur 500 ?

Google peut interpréter des erreurs serveur persistantes sur le `robots.txt` comme si tout le site était interdit, et suspendre l'exploration jusqu'à ce que le fichier réponde correctement. Une 5xx sur ce fichier est donc aussi grave qu'une règle `Disallow: /`, d'où l'intérêt de surveiller le code de statut et pas seulement le contenu.

Combien coûte la surveillance du robots.txt avec Deltio ?

Les offres Deltio démarrent à £24 par mois, ou £20 par mois en facturation annuelle, et incluent la surveillance du robots.txt avec celle de la sitemap, du SEO, de l'uptime, du SSL et de l'expiration du domaine. L'essai gratuit dure 14 jours.

← Retour au blog

Être alerté quand le robots.txt change

Une alerte sur les changements de robots.txt vous prévient à la seconde où vos règles de crawl sont modifiées, avant qu'un Disallow: / égaré ne coûte tout le site. robots.txt est un fichier texte capable d'empêcher Googlebot d'explorer la moindre page, et quand cela arrive, rien ne semble cassé. Deltio surveille le robots.txt de tous vos sites clients, détecte son apparition, sa disparition et ses modifications, affiche le diff des lignes ajoutées et supprimées et vous notifie aussitôt par e-mail et sur Slack. À partir de £20 par mois, avec 14 jours d'essai gratuit.

Chaque référenceur a son histoire de robots.txt. Un déploiement pousse la préprod en production, le Disallow: / passe en ligne, Googlebot arrête d'explorer. Rien n'a l'air anormal : le site charge, Analytics tourne. Deux semaines plus tard, les impressions chutent, les pages sortent des SERP, et là seulement quelqu'un ouvre le fichier. Pour lire et valider le fichier : comment vérifier le robots.txt.

Le plus petit fichier, le plus grand rayon d'action

robots.txt se trouve à la racine du domaine (https://exemple.fr/robots.txt) et décide quels crawlers peuvent demander quels chemins. N'importe laquelle de ses lignes peut coûter cher.

Disallow: / bloque tous les chemins pour tous les user agents. Les préprods l'embarquent par défaut : c'est pour cela qu'il atterrit en production.
Les règles sur un répertoire comme Disallow: /blog/ retirent une section entière du crawl sans toucher à une page.
La disparition du fichier n'est pas fatale (un 404 vaut "explore tout"), mais la ligne Sitemap: part avec lui.
Une réponse 5xx est le pire cas : sur une erreur serveur, Google peut traiter le site comme entièrement interdit tant que le fichier n'est pas récupérable.

Bloquer le crawl n'est pas désindexer

Le robots.txt gouverne l'exploration. Le noindex gouverne l'indexation. Les confondre est à l'origine de la plupart des dégâts.

Une page bloquée peut rester dans les résultats, en général sans description : Google sait que l'URL existe mais n'a jamais pu la charger.
Si vous la bloquez et que vous y mettez un noindex, Google ne l'explore jamais, donc ne lit jamais le noindex. La page reste indexée.
Pour la sortir de l'index, laissez-la explorable et servez un noindex (le guide sur la balise noindex couvre cette moitié). Pour l'écarter du crawl, utilisez le robots.txt en acceptant qu'elle reste listable.

Les changements qui méritent une alerte

Apparition de Disallow: / : blocage total. À traiter comme un incident de production.
Nouveau Disallow: sur un répertoire important : blog, produits, catégories, pagination. Quelqu'un a voulu économiser du crawl budget et est allé trop loin.
Le fichier disparaît, renvoie un 404 ou une 5xx : vos règles et la référence à la sitemap s'évaporent, et une 5xx durable est aussi dangereuse qu'une mauvaise règle.
La ligne Sitemap: est supprimée : discret, et la découverte des nouvelles URL ralentit.
Des règles visant Googlebot : un bloc User-agent: Googlebot n'est presque jamais un accident, mais presque toujours un problème.
Des blocages de crawlers IA : GPTBot, ClaudeBot, PerplexityBot, Google-Extended. Parfois une décision, parfois le défaut d'un plugin.

Pourquoi les vérifications manuelles ne suffisent pas

Ouvrir /robots.txt dans le navigateur ne marche qu'une fois : le jour où vous y pensez. Sur 20 sites clients, un contrôle hebdomadaire signifie l'apprendre jusqu'à sept jours trop tard. Le rapport robots.txt de la Search Console montre les versions récupérées et leur statut : utile pour le diagnostic, inutile comme alarme. Il ne vous envoie pas d'e-mail quand une ligne change, et quand vous lisez "Bloquée par le fichier robots.txt", l'exploration est déjà arrêtée.

Comment Deltio s'en charge

Deltio surveille le robots.txt de chaque site que vous ajoutez et détecte trois choses : le fichier qui apparaît, disparaît ou change. Quand le contenu change, vous recevez le diff des lignes ajoutées et supprimées : la règle exacte qui vient d'être introduite. La notification part aussitôt par e-mail et sur Slack, avec un lien vers le tableau de bord.

Cela tourne avec le reste de la surveillance du même site : snapshots quotidiens de la sitemap, contrôles SEO sur title, meta description, H1, canonical et hreflang, uptime toutes les 10 minutes, alertes SSL, expiration du domaine. Un tableau de bord, un jeu d'alertes de changements SEO pour 5 à 50 sites clients.

Commencez par un site

Ajoutez le site qui vous inquiète le plus : celui qui déploie le plus souvent, ou le client dont les développeurs ne vous disent rien. Deltio récupère son robots.txt et vous prévient à la prochaine ligne qui bouge. À partir de £20 par mois en facturation annuelle (£24 par mois), 14 jours d'essai gratuit.

Questions fréquentes

Qu'est-ce qu'une alerte de changement du robots.txt ?: C'est une notification déclenchée quand le fichier `robots.txt` d'un site est modifié, ajouté ou supprimé. Comme le `robots.txt` décide quels crawlers accèdent à quelles parties du site, une seule ligne modifiée peut bloquer les moteurs de recherche sur tout le domaine. L'alerte vous prévient en quelques minutes au lieu de plusieurs semaines.
Comment être averti quand le robots.txt change ?: Il faut un outil qui récupère le fichier à intervalles réguliers, le compare à la version précédente et vous notifie dès que le contenu diffère. Les vérifications manuelles et les rapports de la Search Console ne poussent pas de notification à temps. Un outil de monitoring comme Deltio fait la récupération, la comparaison et l'envoi de l'alerte par e-mail ou Slack automatiquement.
Le robots.txt retire-t-il une page de Google ?: Non. Le `robots.txt` bloque l'exploration, pas l'indexation. Une URL bloquée peut toujours apparaître dans les résultats, en général sans description. Pour retirer une page de l'index, il faut laisser Google l'explorer et servir un `noindex`, car un `noindex` posé sur une page bloquée par le `robots.txt` n'est jamais lu.
Que se passe-t-il si le robots.txt renvoie une erreur 500 ?: Google peut interpréter des erreurs serveur persistantes sur le `robots.txt` comme si tout le site était interdit, et suspendre l'exploration jusqu'à ce que le fichier réponde correctement. Une 5xx sur ce fichier est donc aussi grave qu'une règle `Disallow: /`, d'où l'intérêt de surveiller le code de statut et pas seulement le contenu.
Deltio m'alerte-t-il quand le robots.txt change ?: Oui. Deltio détecte l'apparition, la disparition et la modification du `robots.txt` sur tout site surveillé, affiche le diff des lignes ajoutées et supprimées, et envoie une notification immédiate par e-mail et sur Slack. L'alerte s'active ou se désactive par type d'événement.
Combien coûte la surveillance du robots.txt avec Deltio ?: Les offres Deltio démarrent à £24 par mois, ou £20 par mois en facturation annuelle, et incluent la surveillance du robots.txt avec celle de la sitemap, du SEO, de l'uptime, du SSL et de l'expiration du domaine. L'essai gratuit dure 14 jours.