Cómo revisar tu robots.txt (y la línea que desindexa un sitio)

El archivo robots.txt es apenas unas líneas de texto plano que casi nadie mira, y una sola de esas líneas puede impedir que los buscadores rastreen un sitio entero. Es fácil de leer una vez que conoces la sintaxis, fácil de arruinar, y un cambio mal hecho puede afectar todas las páginas a la vez. Aquí te explicamos cómo encontrar y leer un robots.txt, cuál es la línea que causa más daño, cómo revisarlo correctamente, y por qué un cambio en él es uno de los fallos silenciosos más peligrosos del SEO.

Deltio vigila los sitios de tus clientes en busca de cambios en robots.txt y te avisa por Slack en cuanto aparece uno. Desde £20 al mes.

Qué hace robots.txt, y qué no hace

El archivo robots.txt se ubica en la raíz de un dominio y le indica a los rastreadores de los buscadores qué partes del sitio pueden y no pueden rastrear. Es una herramienta de control de rastreo, y entender ese alcance limitado es la clave para no usarlo mal.

La distinción más importante: robots.txt controla el rastreo, no la indexación. Bloquear una URL en robots.txt le pide a Google que no la recupere. No la elimina de forma confiable de los resultados de búsqueda, y no es lo mismo que un noindex. De hecho, ambos pueden jugar en contra el uno del otro, porque si bloqueas una página en robots.txt, Google no puede rastrearla, lo que significa que tampoco puede leer un noindex en esa página. Si tu objetivo es que una página no aparezca en los resultados, noindex es la herramienta correcta, y la página debe seguir siendo rastreable. Cubrimos ese tema en la etiqueta noindex, explicada.

Cómo encontrar y leer un robots.txt

Todo robots.txt vive en el mismo lugar: la raíz del dominio, en yoursite.com/robots.txt. Escribe eso en un navegador y verás el archivo de cualquier sitio en la web. Leerlo se reduce a cuatro directivas:

• User-agent: indica a qué rastreador se aplican las siguientes reglas. User-agent: * significa todos los rastreadores.
• Disallow: enumera una ruta que el rastreador no debe recuperar. Disallow: /admin/ bloquea esa carpeta.
• Allow: crea una excepción dentro de una ruta bloqueada.
• Sitemap: apunta al sitemap XML del sitio para que los buscadores puedan descubrirlo.

Un archivo típico y saludable se ve más o menos así:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /
Sitemap: https://yoursite.com/sitemap.xml

Esto dice: todos los rastreadores pueden acceder al sitio, excepto las carpetas de admin y carrito, y aquí está el sitemap. Nada alarmante.

La única línea que puede tumbar todo un sitio

Aquí está la línea a la que hay que temerle:

User-agent: *
Disallow: /

Disallow: / bloquea todo el sitio del rastreo. Todas las páginas, a la vez. Es exactamente la configuración que usa a propósito un entorno de staging o desarrollo, para que los buscadores lo ignoren. El desastre ocurre cuando ese robots.txt de staging se despliega en producción, algo que pasa más a menudo de lo que a cualquiera le gustaría admitir. El sitio en vivo sigue funcionando perfectamente para los visitantes. Los rastreadores, mientras tanto, reciben la orden de no entrar a nada, y con el tiempo la presencia del sitio en los buscadores se va deteriorando.

Como robots.txt es un único archivo en la raíz, su radio de impacto es todo el dominio. Un carácter fuera de lugar en una línea puede afectar todas las páginas del sitio, lo que lo convierte en uno de los archivos de mayor riesgo que una agencia nunca piensa en revisar.

Cómo revisar correctamente un robots.txt

• Consúltalo directamente. Visita yoursite.com/robots.txt y léelo. Busca específicamente cualquier Disallow: / bajo User-agent: *, y confirma que la línea Sitemap: apunte al sitemap correcto y activo.
• Usa Search Console. Google Search Console tiene un informe de robots.txt que muestra el archivo obtenido, cuándo se leyó por última vez, y cualquier problema de análisis. Es la vista autorizada de lo que Google realmente ve.
• Prueba una URL específica. Las herramientas de Search Console te permiten comprobar si una URL determinada está bloqueada, algo útil cuando solo una parte del sitio se ve afectada.
• Ejecuta un rastreador. Un rastreador como Screaming Frog te dirá qué URLs están bloqueadas por robots.txt en todo el sitio, ideal para detectar una regla que bloquea más de lo que debería.

Todo esto responde a la pregunta "¿qué dice el robots.txt en este momento?". Ninguno te avisa cuándo cambia.

Por qué los cambios en robots.txt son tan peligrosos, y tan invisibles

Dos cosas hacen que robots.txt sea especialmente riesgoso. Primero, su alcance: un solo archivo, todo el sitio. Segundo, su invisibilidad: nada en el sitio en vivo se ve diferente cuando robots.txt se rompe. Las páginas cargan, los formularios funcionan, todo está en verde. El único síntoma es una pérdida gradual de rastreo y, con el tiempo, de rankings, que aparece en un gráfico de tráfico semanas después de haberse hecho el cambio.

Y robots.txt se edita por todo tipo de razones que no tienen nada que ver con SEO: una migración de plataforma, una nueva configuración de hosting, un plugin de seguridad, un desarrollador probando algo. Cualquiera de esas situaciones puede copiar un Disallow: / a producción o eliminar la línea Sitemap:, y a menos que alguien abra el archivo por casualidad, nadie se entera.

Para una agencia que gestiona sitios que no controla directamente, ese es el peor tipo de riesgo: alto impacto, sin aviso previo, y nadie está vigilando. No puedes abrir el robots.txt de cada cliente todas las mañanas.

Cómo detecta Deltio los cambios en robots.txt

Deltio consulta y revisa el robots.txt de los sitios de tus clientes en un ciclo diario. Cuando el archivo cambia, ya sea que aparezca un nuevo Disallow, se elimine la referencia al sitemap, o todo el archivo pase a bloquear el rastreo, recibes una alerta en lenguaje sencillo por Slack con el nombre del sitio, el mismo día. Eso convierte el archivo más peligroso de un sitio, de algo que nadie monitorea, en algo que simplemente te informan. También vigila de la misma forma las señales de indexación relacionadas, noindex, los canonicals y el propio sitemap, porque estos fallan juntos con más frecuencia que por separado. Descubre cómo están definidas las alertas en alertas de cambios SEO.

En resumen

robots.txt vive en la raíz de un dominio, controla el rastreo en lugar de la indexación, y se lee a través de cuatro directivas: User-agent, Disallow, Allow y Sitemap. La línea que hay que vigilar es Disallow: /, que bloquea todo el sitio y en la mayoría de los casos llega por accidente desde un despliegue de staging. Revisar el archivo te dice qué dice hoy. En los sitios de los que eres responsable, lo que realmente necesitas es saber el día en que cambia, porque con robots.txt, para cuando el tráfico lo revela, ya se perdieron semanas de rastreo.

Agrega el sitio de tu primer cliente, conecta Slack, y Deltio empieza a vigilar ese mismo día. Comienza tu prueba de 14 días y asegúrate de ser el primero en enterarte del próximo robots.txt problemático.