¿Qué es una alerta de cambios en robots.txt?

Es una notificación que se dispara cuando el archivo `robots.txt` de un sitio se modifica, se añade o se elimina. Como el `robots.txt` decide qué rastreadores acceden a qué partes del sitio, una sola línea cambiada puede bloquear a los buscadores en todo el dominio. La alerta te lo dice en minutos en lugar de en semanas.

¿Cómo me entero de que ha cambiado el robots.txt?

Necesitas algo que descargue el archivo con una frecuencia fija, lo compare con la versión anterior y te avise cuando el contenido difiera. Las comprobaciones manuales y los informes de Search Console no te envían una notificación a tiempo. Una herramienta de monitorización como Deltio hace la descarga, la comparación y el envío de la alerta por email o Slack de forma automática.

¿El robots.txt elimina una página de Google?

No. El `robots.txt` bloquea el rastreo, no la indexación. Una URL bloqueada puede seguir apareciendo en los resultados, normalmente sin descripción. Para sacar una página del índice hay que dejar que Google la rastree y servir un `noindex`, porque un `noindex` en una página bloqueada por `robots.txt` nunca llega a leerse.

¿Qué pasa si el robots.txt devuelve un error 500?

Google puede interpretar los errores de servidor persistentes en el `robots.txt` como si todo el sitio estuviera bloqueado y pausar el rastreo hasta que el archivo vuelva a responder bien. Una 5xx en este archivo es tan grave como una regla `Disallow: /`, por eso conviene monitorizar el código de estado y no solo el contenido.

¿Cuánto cuesta monitorizar el robots.txt con Deltio?

Los planes de Deltio empiezan en £24 al mes, o £20 al mes con facturación anual, e incluyen la monitorización del robots.txt junto con sitemap, SEO, uptime, SSL y caducidad del dominio. La prueba gratuita dura 14 días.

← Volver al blog

Alerta cuando cambia el robots.txt

Una alerta de cambios en robots.txt te avisa en el momento exacto en que se editan tus reglas de rastreo, antes de que un Disallow: / perdido te cueste el sitio entero. robots.txt es un simple archivo de texto capaz de impedir que Googlebot rastree cualquier página, y cuando ocurre no se rompe nada a la vista. Deltio monitoriza el robots.txt de todos tus sitios cliente, detecta cuándo el archivo aparece, desaparece o cambia, muestra el diff de las líneas añadidas y eliminadas y te notifica al instante por email y Slack. Desde £20 al mes, con 14 días de prueba gratuita.

Todo SEO tiene su historia con el robots.txt. Un despliegue lleva la configuración de staging a producción, el Disallow: / se publica, Googlebot deja de rastrear. Nada parece roto: el sitio carga, las páginas se ven, Analytics sigue. Dos semanas después las impresiones caen, las páginas salen de la SERP y solo entonces alguien abre el archivo. Este artículo va de alertas. Para leer y validar el archivo: cómo comprobar el robots.txt.

El archivo más pequeño con el mayor radio de daño

robots.txt vive en la raíz del dominio (https://ejemplo.es/robots.txt) y decide qué rastreadores pueden pedir qué rutas. Una docena de líneas. Cualquiera puede salir cara.

Disallow: / bloquea todas las rutas para todos los user agents. Los entornos de staging lo llevan de serie: por eso acaba en producción.
Las reglas por directorio como Disallow: /blog/ sacan del rastreo una sección entera sin tocar ni una página.
Que el archivo desaparezca no es fatal (un 404 se lee como "rastréalo todo"), pero con él se va la línea Sitemap:.
Una respuesta 5xx es el peor caso: ante un error de servidor, Google puede tratar el sitio como bloqueado por completo hasta que el archivo vuelva a estar disponible.

Bloquear el rastreo no es sacar del índice

El robots.txt controla el rastreo. El noindex controla la indexación. Confundirlos está detrás de casi todos los desastres con robots.txt.

Una página bloqueada puede seguir apareciendo en los resultados, normalmente sin descripción: Google sabe que la URL existe pero nunca pudo descargarla.
Si la bloqueas y le pones un noindex, Google nunca la rastrea, así que nunca lee el noindex. La página sigue indexada.
Para sacarla del índice, déjala rastreable y sirve un noindex (la guía sobre la etiqueta noindex cubre esa mitad). Para mantenerla fuera del rastreo, usa el robots.txt asumiendo que aún puede aparecer listada.

Los cambios que merecen una alerta

Aparece Disallow: /: bloqueo total. Trátalo como una incidencia de producción.
Nuevo Disallow: en un directorio importante: blog, productos, categorías, paginación. Alguien quiso ahorrar crawl budget y se pasó.
El archivo desaparece, devuelve 404 o empieza a responder 5xx: se van tus reglas y la referencia al sitemap, y un 5xx persistente es tan peligroso como una regla mal puesta.
Se elimina la línea Sitemap:: silencioso, y el descubrimiento de URL nuevas se ralentiza.
Reglas dirigidas a Googlebot: un bloque User-agent: Googlebot casi nunca es un accidente, pero casi siempre es un problema.
Aparecen bloqueos a rastreadores de IA: GPTBot, ClaudeBot, PerplexityBot, Google-Extended. A veces es una decisión, a veces el valor por defecto de un plugin.

Por qué las comprobaciones manuales no bastan

Abrir /robots.txt en el navegador funciona una sola vez: el día que te acuerdas. Con 20 sitios cliente, una revisión semanal significa enterarte hasta siete días tarde. El informe de robots.txt de Search Console muestra las versiones descargadas y su estado: sirve para diagnosticar, no como alarma. No te manda un email cuando cambia una línea. Cuando lees "Bloqueada por robots.txt", el rastreo ya se ha detenido.

Cómo lo hace Deltio

Deltio vigila el robots.txt de cada sitio que añades y detecta tres cosas: que el archivo aparezca, que desaparezca y que cambie. Cuando el contenido cambia recibes el diff de las líneas añadidas y eliminadas: ves la regla exacta que se ha introducido sin comparar dos archivos a ojo. La notificación sale de inmediato por email y por Slack, con enlace directo al panel, en tu idioma y tu zona horaria.

Funciona junto al resto de la monitorización del mismo sitio: snapshots diarios del sitemap, controles SEO de title, meta description, H1, canonical y hreflang, uptime cada 10 minutos, avisos de SSL, caducidad del dominio. Un panel y un único conjunto de alertas de cambios SEO para 5 a 50 sitios cliente.

Empieza por un sitio

Añade el sitio que más te preocupa: el que más despliegues acumula, o el cliente cuyos desarrolladores nunca te avisan. Deltio descarga su robots.txt, lo vigila y te avisa la próxima vez que se mueva una línea. Desde £20 al mes con facturación anual (£24 al mes), 14 días de prueba gratuita.

Preguntas frecuentes

¿Qué es una alerta de cambios en robots.txt?: Es una notificación que se dispara cuando el archivo `robots.txt` de un sitio se modifica, se añade o se elimina. Como el `robots.txt` decide qué rastreadores acceden a qué partes del sitio, una sola línea cambiada puede bloquear a los buscadores en todo el dominio. La alerta te lo dice en minutos en lugar de en semanas.
¿Cómo me entero de que ha cambiado el robots.txt?: Necesitas algo que descargue el archivo con una frecuencia fija, lo compare con la versión anterior y te avise cuando el contenido difiera. Las comprobaciones manuales y los informes de Search Console no te envían una notificación a tiempo. Una herramienta de monitorización como Deltio hace la descarga, la comparación y el envío de la alerta por email o Slack de forma automática.
¿El robots.txt elimina una página de Google?: No. El `robots.txt` bloquea el rastreo, no la indexación. Una URL bloqueada puede seguir apareciendo en los resultados, normalmente sin descripción. Para sacar una página del índice hay que dejar que Google la rastree y servir un `noindex`, porque un `noindex` en una página bloqueada por `robots.txt` nunca llega a leerse.
¿Qué pasa si el robots.txt devuelve un error 500?: Google puede interpretar los errores de servidor persistentes en el `robots.txt` como si todo el sitio estuviera bloqueado y pausar el rastreo hasta que el archivo vuelva a responder bien. Una 5xx en este archivo es tan grave como una regla `Disallow: /`, por eso conviene monitorizar el código de estado y no solo el contenido.
¿Deltio me avisa cuando cambia el robots.txt?: Sí. Deltio detecta cuándo el `robots.txt` aparece, desaparece o se modifica en cualquier sitio monitorizado, muestra el diff de las líneas añadidas y eliminadas y envía una notificación inmediata por email y Slack. La alerta se puede activar o desactivar por tipo de evento.
¿Cuánto cuesta monitorizar el robots.txt con Deltio?: Los planes de Deltio empiezan en £24 al mes, o £20 al mes con facturación anual, e incluyen la monitorización del robots.txt junto con sitemap, SEO, uptime, SSL y caducidad del dominio. La prueba gratuita dura 14 días.