Comprobador de robots.txt gratis

Cómo llega la herramienta a su veredicto

Pega la URL completa de una página, elige un user agent y lanza la comprobación. La herramienta descarga /robots.txt desde la raíz de ese host y aplica las reglas tal y como las documenta Google, siguiendo la RFC 9309. Cada host tiene su propio archivo: https://shop.example.com y https://example.com se comprueban por separado.

El primer paso es elegir el grupo. Un rastreador obedece a un solo grupo, aquel cuya línea User-agent coincide de forma más específica con su nombre. Si el archivo tiene un grupo User-agent: Googlebot, Googlebot sigue ese grupo e ignora todo lo que hay bajo User-agent: *. Es un despiste muy habitual: se añade un Disallow bajo * y Google sigue rastreando, porque su propio grupo no dice nada al respecto.

El segundo paso es comparar la ruta. Cada Allow y Disallow del grupo se compara con la ruta y la query string de la URL. * equivale a cualquier secuencia de caracteres y $ marca el final de la URL. La comparación distingue mayúsculas y minúsculas, así que Disallow: /Admin/ no bloquea /admin/. Si coinciden varias reglas, gana la más larga. Si coinciden un Allow y un Disallow de la misma longitud, gana Allow. Si no coincide ninguna, la URL está permitida.

Cómo leer el resultado

El veredicto dice permitida o bloqueada para el user agent elegido. Debajo aparecen la regla que decide con su número de línea, el grupo user-agent aplicado y el archivo entero con las líneas numeradas, para que veas la regla en su contexto.

Toma este archivo:

User-agent: *
Disallow: /blog/
Allow: /blog/guides/
Disallow: /*.pdf$

Para /blog/guides/robots-basics/ coinciden dos reglas, Disallow: /blog/ y Allow: /blog/guides/. El Allow es más largo, así que la página está permitida. Para /blog/guides/checklist.pdf cabría esperar que ganara la regla de los PDF, pero Allow: /blog/guides/ sigue siendo la coincidencia más larga: el PDF también se puede rastrear. Para /files/price-list.pdf solo coincide la regla de los PDF y la URL queda bloqueada. Las reglas con comodines suelen perder frente a rutas de carpeta largas, y por eso compensa probar la URL real en lugar de razonar sobre el archivo.

Cuando falta el archivo o falla el servidor

Si /robots.txt responde con un 404 u otro código 4xx, los rastreadores entienden que el sitio no tiene restricciones y todo está permitido. Para muchos sitios pequeños es una situación perfectamente válida.

Un error 5xx, o un servidor que no responde, es otra historia. Google lo trata como un bloqueo temporal de todo el sitio y suspende el rastreo hasta que puede descargar el archivo de nuevo. Un robots.txt que agota el tiempo de espera por una regla del firewall o de la CDN puede detener el rastreo de todas las páginas aunque ninguna línea del archivo bloquee nada. Si la herramienta indica un error del servidor, abre el archivo en el navegador y revisa antes que nada los logs del hosting o de la CDN.

Lo que el robots.txt no hace

Bloquear una URL impide el rastreo, no la indexación. Una página bloqueada puede seguir apareciendo en los resultados si otras páginas la enlazan, normalmente sin descripción. Y como Google no puede descargarla, nunca verá el noindex que pongas en ella. Para sacar una página del índice, déjala rastreable y usa noindex: la guía sobre la etiqueta noindex explica cómo hacerlo, y cómo comprobar si una página está indexada muestra cómo confirmar el resultado en Search Console.

El robots.txt es además una petición, no un control de acceso. Googlebot, Bingbot y GPTBot lo respetan, muchos otros bots no. No lo uses nunca para ocultar contenido privado.

Desbloquear una página bloqueada por error

Empieza por la línea que decide. Si es una regla amplia como un Disallow: / que quedó de un entorno de staging, elimínala o acótala. Si una página dentro de una carpeta bloqueada debe rastrearse, añade un Allow más largo que el Disallow al que tiene que ganar. Si solo afecta a un rastreador, busca un grupo dedicado a ese user agent: las reglas añadidas bajo * no le llegan, así que hay que copiarlas en su grupo.

Cuando el archivo corregido esté publicado, repite la prueba con la misma URL y el mismo user agent. Google suele guardar en caché el robots.txt hasta 24 horas. Para una corrección urgente, el informe de robots.txt de Search Console muestra la última versión que descargó Google y permite solicitar un nuevo rastreo. Si quieres un procedimiento manual más completo, lee cómo comprobar el robots.txt.

Por qué una comprobación puntual no basta

Esta prueba te dice lo que contiene el archivo ahora mismo. El robots.txt cambia por motivos que poco tienen que ver con el SEO: un despliegue que lleva a producción el archivo de staging, la actualización de un plugin, un desarrollador que bloquea un bot que sobrecargaba el servidor. Nadie avisa a quien lleva el SEO, y la primera señal suele ser una caída de páginas rastreadas semanas después.

Deltio monitoriza el robots.txt de cada sitio que añades. Cuando el archivo aparece, desaparece o cambia, recibes al momento un aviso por email o Slack con el diff de las líneas añadidas y eliminadas, así ves la regla que ha cambiado y no un genérico "archivo modificado". Los planes empiezan en £24 al mes, o £20 al mes con facturación anual, y hay una prueba gratuita de 14 días.