Was ist ein Alert bei Änderungen an der robots.txt?

Eine Benachrichtigung, die ausgelöst wird, sobald die `robots.txt` einer Website geändert, angelegt oder gelöscht wird. Weil die `robots.txt` festlegt, welche Crawler welche Bereiche abrufen dürfen, kann eine einzige geänderte Zeile Suchmaschinen von der gesamten Domain aussperren. Der Alert meldet das in Minuten statt in Wochen.

Wie werde ich benachrichtigt, wenn sich die robots.txt ändert?

Du brauchst etwas, das die Datei regelmäßig abruft, mit der vorherigen Version vergleicht und dich informiert, sobald der Inhalt abweicht. Manuelle Kontrollen und Search-Console-Berichte schicken dir keine rechtzeitige Meldung. Ein Monitoring-Tool wie Deltio übernimmt Abruf, Vergleich und den Alert per E-Mail oder Slack automatisch.

Entfernt die robots.txt eine Seite aus Google?

Nein. Die `robots.txt` blockiert das Crawling, nicht die Indexierung. Eine gesperrte URL kann weiterhin in den Ergebnissen erscheinen, meist ohne Beschreibung. Um eine Seite aus dem Index zu nehmen, muss Google sie crawlen dürfen und ein `noindex` ausgeliefert bekommen, denn ein `noindex` auf einer per `robots.txt` gesperrten Seite wird nie gelesen.

Was passiert, wenn die robots.txt einen 500er zurückgibt?

Google kann anhaltende Serverfehler auf der `robots.txt` so behandeln, als wäre die gesamte Website gesperrt, und das Crawling aussetzen, bis die Datei wieder korrekt antwortet. Eine 5xx auf dieser einen Datei ist damit so ernst wie ein `Disallow: /`. Deshalb gehört auch der Statuscode ins Monitoring, nicht nur der Inhalt.

Alarmiert Deltio mich, wenn sich die robots.txt ändert?

Ja. Deltio erkennt, wenn die `robots.txt` auf einer überwachten Website auftaucht, verschwindet oder geändert wird, zeigt einen Diff der hinzugefügten und entfernten Zeilen und schickt sofort eine Benachrichtigung per E-Mail und Slack. Der Alert lässt sich pro Ereignistyp ein- und ausschalten.

Was kostet robots.txt-Monitoring bei Deltio?

Die Tarife starten bei £24 pro Monat, bei jährlicher Zahlung £20 pro Monat, und enthalten robots.txt-Monitoring zusammen mit Sitemap-, SEO-, Uptime-, SSL- und Domain-Checks. Die kostenlose Testphase dauert 14 Tage.

← Zurück zum Blog

Alert bei Änderungen an der robots.txt

Ein Alert bei Änderungen an der robots.txt meldet den Moment, in dem deine Crawl-Regeln bearbeitet werden, bevor ein versehentliches Disallow: / die ganze Website kostet. Die robots.txt ist eine simple Textdatei, die Googlebot das Crawlen jeder Seite verbieten kann, und wenn es passiert, sieht nichts kaputt aus. Deltio überwacht die robots.txt auf allen Kundenseiten, erkennt, wenn die Datei auftaucht, verschwindet oder sich ändert, zeigt den Diff der hinzugefügten und entfernten Zeilen und benachrichtigt dich sofort per E-Mail und Slack. Ab £20 pro Monat, 14 Tage kostenlos testen.

Jeder SEO hat seine robots.txt-Geschichte. Ein Deployment schiebt die Staging-Konfiguration in die Produktion, das Disallow: / geht live, Googlebot hört auf zu crawlen. Nichts wirkt falsch: Die Seite lädt, die Templates rendern, Analytics läuft weiter. Zwei Wochen später brechen die Impressionen ein, Seiten fallen aus der SERP, und erst dann öffnet jemand die Datei. Hier geht es um Alerts. Zum Lesen und Prüfen der Datei: robots.txt richtig prüfen.

Die kleinste Datei mit dem größten Schadensradius

Die robots.txt liegt im Root der Domain (https://beispiel.de/robots.txt) und entscheidet, welche Crawler welche Pfade anfragen dürfen. Jede Zeile kann teuer werden.

Disallow: / blockiert jeden Pfad für jeden User Agent. Staging-Umgebungen bringen es standardmäßig mit, deshalb landet es in der Produktion.
Verzeichnisregeln wie Disallow: /blog/ nehmen einen ganzen Bereich aus dem Crawl, ohne eine Seite anzufassen.
Eine fehlende Datei ist nicht tödlich (ein 404 gilt als "crawle alles"), aber die Sitemap:-Zeile ist mit ihr weg.
Eine 5xx-Antwort ist der schlimmste Fall: Bei einem Serverfehler kann Google die Website als komplett gesperrt behandeln, bis die Datei wieder abrufbar ist.

Crawling blockieren ist nicht deindexieren

Die robots.txt steuert das Crawling. Das noindex steuert die Indexierung. Beides zu verwechseln verursacht die meisten Schäden.

Eine gesperrte Seite kann weiterhin in den Suchergebnissen stehen, meist ohne Beschreibung: Google kennt die URL, durfte sie aber nie abrufen.
Sperrst du eine Seite und gibst ihr ein noindex, crawlt Google sie nie und liest das noindex nie. Die Seite bleibt im Index.
Um eine Seite aus dem Index zu nehmen, lass sie crawlbar und liefere noindex aus (der Guide zum noindex-Tag deckt diese Hälfte ab). Um sie aus dem Crawl zu halten, nimm die robots.txt und akzeptiere, dass sie gelistet bleiben kann.

Diese Änderungen gehören in einen Alert

Disallow: / taucht auf: die Totalsperre. Behandle sie als Produktionsvorfall.
Neues Disallow: auf einem wichtigen Verzeichnis: Blog, Produkte, Kategorien, Pagination. Jemand wollte Crawl-Budget sparen und ist zu weit gegangen.
Die Datei verschwindet, liefert 404 oder plötzlich 5xx: deine Regeln und der Sitemap-Verweis sind weg, und ein 5xx ist so gefährlich wie eine falsche Regel.
Die Sitemap:-Zeile wird entfernt: geräuschlos, und neue URLs werden langsamer entdeckt.
Regeln gegen Googlebot: ein User-agent: Googlebot-Block ist selten ein Versehen und fast immer ein Problem.
Sperren für AI-Crawler: GPTBot, ClaudeBot, PerplexityBot, Google-Extended. Mal eine bewusste Entscheidung, mal der Default eines Plugins.

Warum manuelle Kontrollen nicht reichen

/robots.txt im Browser zu öffnen funktioniert genau einmal: an dem Tag, an dem du daran denkst. Bei 20 Kundenseiten heißt eine wöchentliche Kontrolle, dass du es bis zu sieben Tage zu spät erfährst. Der robots.txt-Bericht der Search Console zeigt abgerufene Versionen und Status: gut für die Diagnose, nichts für den Alarm. Er schickt keine E-Mail, wenn sich eine Zeile ändert, und wenn "Durch robots.txt blockiert" im Bericht steht, ist das Crawling längst gestoppt.

So macht es Deltio

Deltio überwacht die robots.txt jeder Website, die du hinzufügst, und erkennt drei Dinge: Die Datei taucht auf, verschwindet oder ändert sich. Bei einer Änderung bekommst du den Diff der hinzugefügten und entfernten Zeilen und siehst die exakte neue Regel. Die Benachrichtigung geht sofort per E-Mail und an Slack raus, mit Link ins Dashboard, in deiner Sprache und Zeitzone.

Das läuft neben dem restlichen Monitoring derselben Website: tägliche Sitemap-Snapshots, SEO-Checks auf title, meta description, H1, canonical und hreflang, Uptime-Checks alle 10 Minuten, SSL-Warnungen, Domain-Laufzeit. Ein Dashboard, ein Satz SEO-Änderungsalerts für 5 bis 50 Kundenseiten.

Fang mit einer Website an

Nimm die Website, die dir am meisten Sorgen macht: die mit den häufigsten Deployments, oder den Kunden, dessen Entwickler nie etwas sagen. Deltio holt sich ihre robots.txt und meldet sich, sobald sich die nächste Zeile bewegt. Ab £20 pro Monat bei jährlicher Zahlung (£24 monatlich), 14 Tage kostenlos testen.

Häufige Fragen

Was ist ein Alert bei Änderungen an der robots.txt?: Eine Benachrichtigung, die ausgelöst wird, sobald die `robots.txt` einer Website geändert, angelegt oder gelöscht wird. Weil die `robots.txt` festlegt, welche Crawler welche Bereiche abrufen dürfen, kann eine einzige geänderte Zeile Suchmaschinen von der gesamten Domain aussperren. Der Alert meldet das in Minuten statt in Wochen.
Wie werde ich benachrichtigt, wenn sich die robots.txt ändert?: Du brauchst etwas, das die Datei regelmäßig abruft, mit der vorherigen Version vergleicht und dich informiert, sobald der Inhalt abweicht. Manuelle Kontrollen und Search-Console-Berichte schicken dir keine rechtzeitige Meldung. Ein Monitoring-Tool wie Deltio übernimmt Abruf, Vergleich und den Alert per E-Mail oder Slack automatisch.
Entfernt die robots.txt eine Seite aus Google?: Nein. Die `robots.txt` blockiert das Crawling, nicht die Indexierung. Eine gesperrte URL kann weiterhin in den Ergebnissen erscheinen, meist ohne Beschreibung. Um eine Seite aus dem Index zu nehmen, muss Google sie crawlen dürfen und ein `noindex` ausgeliefert bekommen, denn ein `noindex` auf einer per `robots.txt` gesperrten Seite wird nie gelesen.
Was passiert, wenn die robots.txt einen 500er zurückgibt?: Google kann anhaltende Serverfehler auf der `robots.txt` so behandeln, als wäre die gesamte Website gesperrt, und das Crawling aussetzen, bis die Datei wieder korrekt antwortet. Eine 5xx auf dieser einen Datei ist damit so ernst wie ein `Disallow: /`. Deshalb gehört auch der Statuscode ins Monitoring, nicht nur der Inhalt.
Alarmiert Deltio mich, wenn sich die robots.txt ändert?: Ja. Deltio erkennt, wenn die `robots.txt` auf einer überwachten Website auftaucht, verschwindet oder geändert wird, zeigt einen Diff der hinzugefügten und entfernten Zeilen und schickt sofort eine Benachrichtigung per E-Mail und Slack. Der Alert lässt sich pro Ereignistyp ein- und ausschalten.
Was kostet robots.txt-Monitoring bei Deltio?: Die Tarife starten bei £24 pro Monat, bei jährlicher Zahlung £20 pro Monat, und enthalten robots.txt-Monitoring zusammen mit Sitemap-, SEO-, Uptime-, SSL- und Domain-Checks. Die kostenlose Testphase dauert 14 Tage.