Où trouver le robots.txt d'un site ?

Il se trouve toujours à la racine du domaine, à l'adresse votresite.com/robots.txt. Vous pouvez saisir cette adresse dans un navigateur pour voir le robots.txt de n'importe quel site sur le web.

Que contrôle réellement le robots.txt ?

Il contrôle l'exploration, pas l'indexation. Il indique aux robots des moteurs de recherche quelles parties d'un site ils peuvent ou ne peuvent pas récupérer. Bloquer une URL dans le robots.txt ne la retire pas de manière fiable des résultats de recherche, et ce n'est pas la même chose qu'une balise noindex.

Quelle est la ligne la plus dangereuse dans un robots.txt ?

Disallow: / sous User-agent: *. Cette seule ligne bloque l'exploration de l'ensemble du site. C'est le réglage approprié pour un environnement de préproduction, et un désastre lorsqu'un robots.txt de préproduction est déployé par erreur en production, car le site en ligne semble fonctionner normalement alors que les robots reçoivent l'instruction de ne rien explorer.

Comment vérifier qu'un robots.txt est correct ?

Récupérez-le directement à l'adresse votresite.com/robots.txt et cherchez toute ligne Disallow: / ainsi qu'une ligne Sitemap: correcte. Utilisez le rapport robots.txt de Google Search Console pour avoir la vue de référence de ce que Google voit, et lancez un crawler pour détecter les URL bloquées plus largement que prévu.

Pourquoi les modifications du robots.txt sont-elles si risquées ?

Parce qu'un seul fichier affecte tout le site et que rien sur le site en ligne ne semble différent lorsqu'il casse. Les pages continuent de se charger, donc le seul symptôme est une perte progressive d'exploration et de positionnement qui n'apparaît que des semaines plus tard. Le robots.txt est souvent modifié lors de migrations, de changements d'hébergement, ou d'installations de plugins par des personnes qui ne pensent pas au SEO.

Comment être averti quand le robots.txt d'un client change ?

Deltio récupère et vérifie quotidiennement le robots.txt des sites de vos clients et vous alerte sur Slack dès qu'il change, qu'un nouveau Disallow apparaisse, que la ligne du sitemap disparaisse, ou que l'ensemble du fichier bascule pour bloquer l'exploration. L'offre Starter est à £20 / €24 / $26 par mois avec un essai gratuit de 14 jours.

← Retour au blog

Comment vérifier votre robots.txt (et la ligne qui désindexe un site)

Le fichier robots.txt est composé de quelques lignes de texte brut que la plupart des gens ne consultent jamais, et l'une de ces lignes peut empêcher les moteurs de recherche d'explorer un site entier. Il est facile à lire une fois qu'on en connaît la syntaxe, facile à mal configurer, et une seule erreur de modification peut affecter toutes les pages en même temps. Voici comment trouver et lire un robots.txt, quelle est la ligne la plus dangereuse, comment vérifier correctement ce fichier, et pourquoi une modification de celui-ci est l'une des pannes silencieuses les plus dangereuses en SEO.

Deltio surveille les sites de vos clients pour détecter les modifications du robots.txt et vous alerte sur Slack dès qu'une modification survient. Dès £20 par mois.

Ce que fait le robots.txt, et ce qu'il ne fait pas

Le fichier robots.txt se trouve à la racine d'un domaine et indique aux robots des moteurs de recherche quelles parties du site ils peuvent ou ne peuvent pas explorer. C'est un outil de contrôle d'exploration, et comprendre cette portée restreinte est la clé pour ne pas s'en servir à mauvais escient.

La distinction la plus importante : le robots.txt contrôle l'exploration, pas l'indexation. Bloquer une URL dans le robots.txt demande à Google de ne pas la récupérer. Cela ne retire pas de manière fiable cette URL des résultats de recherche, et ce n'est pas la même chose qu'un noindex. En réalité, les deux peuvent se contredire, car si vous bloquez une page dans le robots.txt, Google ne peut pas l'explorer, ce qui signifie qu'il ne peut pas non plus lire un noindex sur cette page. Si votre objectif est d'exclure une page des résultats, noindex est le bon outil, et la page doit rester explorable. Nous abordons ce sujet dans la balise noindex expliquée.

Comment trouver et lire un robots.txt

Chaque robots.txt se trouve toujours au même endroit : à la racine du domaine, à l'adresse votresite.com/robots.txt. Tapez cette adresse dans un navigateur et vous verrez le fichier de n'importe quel site sur le web. Sa lecture repose sur quatre directives :

User-agent: indique à quel robot s'appliquent les règles suivantes. User-agent: * signifie tous les robots.
Disallow: liste un chemin que le robot ne doit pas récupérer. Disallow: /admin/ bloque ce dossier.
Allow: crée une exception à l'intérieur d'un chemin bloqué.
Sitemap: pointe vers le sitemap XML du site afin que les moteurs puissent le découvrir.

Un fichier typique et sain ressemble à ceci :

User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /
Sitemap: https://yoursite.com/sitemap.xml

Cela signifie : tous les robots peuvent accéder au site, sauf les dossiers admin et cart, et voici le sitemap. Rien d'alarmant.

La ligne qui peut faire tomber un site entier

Voici la ligne à redouter :

User-agent: *
Disallow: /

Disallow: / bloque l'exploration de l'ensemble du site. Toutes les pages, d'un seul coup. C'est exactement le réglage qu'utilise volontairement un environnement de préproduction ou de développement, afin que les moteurs de recherche l'ignorent. Le désastre survient lorsque ce robots.txt de préproduction est déployé en production, ce qui arrive plus souvent qu'on ne veut bien l'admettre. Le site en ligne continue de fonctionner parfaitement pour les visiteurs. Les robots, eux, reçoivent l'instruction de ne rien explorer, et avec le temps, la présence du site dans les résultats de recherche se dégrade.

Comme le robots.txt est un fichier unique à la racine, son rayon d'action couvre tout le domaine. Un caractère mal placé dans une seule ligne peut affecter toutes les pages du site, ce qui en fait l'un des fichiers les plus critiques qu'une agence ne pense jamais à vérifier.

Comment vérifier correctement un robots.txt

Récupérez-le directement. Rendez-vous sur votresite.com/robots.txt et lisez-le. Cherchez en particulier toute ligne Disallow: / sous User-agent: *, et vérifiez que la ligne Sitemap: pointe vers le bon sitemap actif.
Utilisez Search Console. Google Search Console propose un rapport robots.txt qui affiche le fichier récupéré, sa dernière date de lecture, et tout problème d'analyse. C'est la vue de référence sur ce que Google voit réellement.
Testez une URL spécifique. Les outils de Search Console permettent de vérifier si une URL donnée est bloquée, ce qui est utile lorsque seule une partie du site est concernée.
Lancez un crawler. Un crawler indiquera quelles URL sont bloquées par le robots.txt sur l'ensemble du site, ce qui est utile pour repérer une règle qui bloque plus que prévu.

Tous ces moyens répondent à la question « que dit le robots.txt en ce moment ? ». Aucun ne vous indique quand il change.

Pourquoi les modifications du robots.txt sont si dangereuses, et si invisibles

Deux éléments rendent le robots.txt particulièrement risqué. D'abord sa portée : un seul fichier, tout le site. Ensuite son invisibilité : rien sur le site en ligne ne semble différent lorsque le robots.txt casse. Les pages se chargent, les formulaires fonctionnent, tout est au vert. Le seul symptôme est une perte progressive d'exploration puis, à terme, de positionnement, qui n'apparaît dans un graphique de trafic que des semaines après la modification.

Et le robots.txt est modifié pour toutes sortes de raisons qui n'ont rien à voir avec le SEO : une migration de plateforme, une nouvelle configuration d'hébergement, un plugin de sécurité, un développeur qui teste quelque chose. N'importe laquelle de ces situations peut copier un Disallow: / en production ou supprimer la ligne Sitemap:, et à moins que quelqu'un n'ouvre le fichier par hasard, personne ne s'en aperçoit.

Pour une agence qui gère des sites qu'elle ne contrôle pas, c'est le pire type de risque : fort impact, aucun signal d'alerte, et personne ne surveille. Vous ne pouvez pas ouvrir le robots.txt de chaque client tous les matins.

Comment Deltio détecte les modifications du robots.txt

Deltio récupère et vérifie le robots.txt des sites de vos clients selon un cycle quotidien. Lorsque le fichier change, qu'un nouveau Disallow apparaisse, que la référence au sitemap disparaisse, ou que l'ensemble du fichier bascule pour bloquer l'exploration, vous recevez une alerte en langage clair sur Slack nommant le site concerné, le jour même. Cela transforme le fichier le plus dangereux d'un site, que personne ne surveille habituellement, en quelque chose dont on vous informe simplement. Deltio surveille de la même façon les signaux d'indexation associés, noindex, les canoniques, et le sitemap lui-même, car ces éléments échouent plus souvent ensemble que séparément. Découvrez comment sont définies les alertes dans Alertes de changement SEO.

En résumé

Le robots.txt se trouve à la racine d'un domaine, contrôle l'exploration plutôt que l'indexation, et se lit à travers quatre directives : User-agent, Disallow, Allow et Sitemap. La ligne à surveiller est Disallow: /, qui bloque l'exploration de l'ensemble du site et qui survient le plus souvent par accident lors d'un déploiement depuis la préproduction. Vérifier le fichier vous indique ce qu'il dit aujourd'hui. Sur les sites dont vous êtes responsable, ce dont vous avez réellement besoin, c'est de savoir le jour même où il change, car avec le robots.txt, quand le trafic le révèle, des semaines d'exploration sont déjà perdues.

Ajoutez votre premier site client, connectez Slack, et Deltio commence à surveiller dès le jour même. Démarrez votre essai gratuit de 14 jours et assurez-vous que le prochain mauvais robots.txt vous parvienne en premier.

Questions fréquentes

Où trouver le robots.txt d'un site ?: Il se trouve toujours à la racine du domaine, à l'adresse votresite.com/robots.txt. Vous pouvez saisir cette adresse dans un navigateur pour voir le robots.txt de n'importe quel site sur le web.
Que contrôle réellement le robots.txt ?: Il contrôle l'exploration, pas l'indexation. Il indique aux robots des moteurs de recherche quelles parties d'un site ils peuvent ou ne peuvent pas récupérer. Bloquer une URL dans le robots.txt ne la retire pas de manière fiable des résultats de recherche, et ce n'est pas la même chose qu'une balise noindex.
Quelle est la ligne la plus dangereuse dans un robots.txt ?: Disallow: / sous User-agent: *. Cette seule ligne bloque l'exploration de l'ensemble du site. C'est le réglage approprié pour un environnement de préproduction, et un désastre lorsqu'un robots.txt de préproduction est déployé par erreur en production, car le site en ligne semble fonctionner normalement alors que les robots reçoivent l'instruction de ne rien explorer.
Comment vérifier qu'un robots.txt est correct ?: Récupérez-le directement à l'adresse votresite.com/robots.txt et cherchez toute ligne Disallow: / ainsi qu'une ligne Sitemap: correcte. Utilisez le rapport robots.txt de Google Search Console pour avoir la vue de référence de ce que Google voit, et lancez un crawler pour détecter les URL bloquées plus largement que prévu.
Pourquoi les modifications du robots.txt sont-elles si risquées ?: Parce qu'un seul fichier affecte tout le site et que rien sur le site en ligne ne semble différent lorsqu'il casse. Les pages continuent de se charger, donc le seul symptôme est une perte progressive d'exploration et de positionnement qui n'apparaît que des semaines plus tard. Le robots.txt est souvent modifié lors de migrations, de changements d'hébergement, ou d'installations de plugins par des personnes qui ne pensent pas au SEO.
Comment être averti quand le robots.txt d'un client change ?: Deltio récupère et vérifie quotidiennement le robots.txt des sites de vos clients et vous alerte sur Slack dès qu'il change, qu'un nouveau Disallow apparaisse, que la ligne du sitemap disparaisse, ou que l'ensemble du fichier bascule pour bloquer l'exploration. L'offre Starter est à £20 / €24 / $26 par mois avec un essai gratuit de 14 jours.