Testeur robots.txt gratuit

Comment l'outil rend son verdict

Collez l'URL complète d'une page, choisissez un user-agent et lancez le test. L'outil télécharge /robots.txt à la racine de cet hôte et applique les règles telles que Google les documente, selon la RFC 9309. Chaque hôte a son propre fichier : https://shop.example.com et https://example.com se testent séparément.

Première étape, le choix du groupe. Un robot n'obéit qu'à un seul groupe, celui dont la ligne User-agent correspond le plus précisément à son nom. Si le fichier contient un groupe User-agent: Googlebot, Googlebot suit ce groupe et ignore tout ce qui se trouve sous User-agent: *. C'est un piège classique : on ajoute un Disallow sous *, et Google continue d'explorer parce que son propre groupe n'en dit rien.

Deuxième étape, la comparaison avec le chemin. Chaque Allow et Disallow du groupe est comparé au chemin et à la chaîne de requête de l'URL. * correspond à n'importe quelle suite de caractères et $ marque la fin de l'URL. La comparaison respecte la casse : Disallow: /Admin/ ne bloque pas /admin/. Quand plusieurs règles correspondent, la plus longue l'emporte. Si un Allow et un Disallow de même longueur correspondent tous les deux, Allow gagne. Si rien ne correspond, l'URL est autorisée.

Lire le résultat

Le verdict indique autorisée ou bloquée pour le user-agent choisi. En dessous figurent la règle qui tranche avec son numéro de ligne, le groupe user-agent appliqué et le fichier entier avec des lignes numérotées, pour voir la règle dans son contexte.

Prenons ce fichier :

User-agent: *
Disallow: /blog/
Allow: /blog/guides/
Disallow: /*.pdf$

Pour /blog/guides/robots-basics/, deux règles correspondent, Disallow: /blog/ et Allow: /blog/guides/. L'Allow est plus longue, la page est donc autorisée. Pour /blog/guides/checklist.pdf, on s'attendrait à ce que la règle sur les PDF gagne, mais Allow: /blog/guides/ reste la correspondance la plus longue : le PDF peut être exploré lui aussi. Pour /files/price-list.pdf, seule la règle PDF correspond et l'URL est bloquée. Les règles à caractères génériques perdent souvent face aux chemins de dossier longs, d'où l'intérêt de tester l'URL réelle plutôt que de raisonner sur le fichier.

Quand le fichier manque ou que le serveur échoue

Si /robots.txt répond 404 ou un autre code 4xx, les robots considèrent que le site n'a aucune restriction et tout est autorisé. Pour beaucoup de petits sites, c'est parfaitement acceptable.

Une erreur 5xx, ou un serveur qui ne répond pas, c'est autre chose. Google la traite comme un blocage temporaire de tout le site et suspend l'exploration jusqu'à ce qu'il puisse récupérer le fichier. Un robots.txt qui expire derrière une règle de pare-feu ou de CDN peut ainsi stopper l'exploration de toutes les pages, alors qu'aucune ligne du fichier ne bloque quoi que ce soit. Si l'outil signale une erreur serveur, ouvrez le fichier dans un navigateur et consultez d'abord les journaux de l'hébergeur ou du CDN.

Ce que le robots.txt ne fait pas

Bloquer une URL empêche l'exploration, pas l'indexation. Une page bloquée peut quand même apparaître dans les résultats si d'autres pages pointent vers elle, en général sans description. Et comme Google ne peut pas la récupérer, il ne voit jamais le noindex placé dessus. Pour sortir une page de l'index, laissez-la explorable et utilisez noindex : notre guide sur la balise noindex explique comment faire, et comment vérifier si une page est indexée montre comment confirmer le résultat dans la Search Console.

Le robots.txt est aussi une demande, pas un contrôle d'accès. Googlebot, Bingbot et GPTBot le respectent, beaucoup d'autres robots non. Ne vous en servez jamais pour cacher du contenu privé.

Débloquer une page bloquée par erreur

Partez de la ligne qui tranche. S'il s'agit d'une règle large comme un Disallow: / hérité d'un site de préproduction, supprimez-la ou restreignez-la. Si une page située dans un dossier bloqué doit être explorée, ajoutez un Allow plus long que le Disallow qu'il doit battre. Si un seul robot est concerné, cherchez un groupe dédié à ce user-agent : les règles ajoutées sous * ne l'atteignent pas, il faut donc les recopier dans son groupe.

Une fois le fichier corrigé en ligne, relancez le test sur la même URL avec le même user-agent. Google met généralement le robots.txt en cache jusqu'à 24 heures. Pour une correction urgente, le rapport robots.txt de la Search Console affiche la dernière version récupérée par Google et permet de demander une nouvelle exploration. Pour une méthode manuelle plus complète, lisez comment vérifier le robots.txt.

Pourquoi un test ponctuel ne suffit pas

Ce test vous dit ce que contient le fichier à l'instant présent. Le robots.txt change pour des raisons qui ont peu à voir avec le SEO : un déploiement qui pousse le fichier de préproduction en production, la mise à jour d'une extension, un développeur qui bloque un robot trop gourmand. Personne ne prévient le SEO, et le premier signe est souvent une baisse des pages explorées quelques semaines plus tard.

Deltio surveille le robots.txt de chaque site que vous ajoutez. Quand le fichier apparaît, disparaît ou change, vous recevez aussitôt une alerte par email ou Slack avec le diff des lignes ajoutées et supprimées : vous voyez la règle modifiée, pas un vague « fichier modifié ». Les offres commencent à £24 par mois, ou £20 par mois en facturation annuelle, avec un essai gratuit de 14 jours.