Wo finde ich die robots.txt einer Website?

Sie liegt immer im Root der Domain, unter yoursite.com/robots.txt. Diese Adresse kannst du in einen Browser eingeben, um die robots.txt jeder beliebigen Website im Netz zu sehen.

Was steuert robots.txt eigentlich?

Sie steuert das Crawling, nicht die Indexierung. Sie teilt Suchmaschinen-Crawlern mit, welche Bereiche einer Website sie abrufen dürfen und welche nicht. Eine URL in der robots.txt zu blockieren entfernt sie nicht zuverlässig aus den Suchergebnissen und ist nicht dasselbe wie ein noindex-Tag.

Was ist die gefährlichste Zeile in einer robots.txt?

Disallow: / unter User-agent: *. Diese einzelne Zeile blockiert das Crawling der gesamten Website. Sie ist die richtige Einstellung für eine Staging-Umgebung und eine Katastrophe, wenn eine Staging-robots.txt versehentlich in die Produktivumgebung übernommen wird, denn die Live-Website sieht weiterhin normal aus, während Crawlern gesagt wird, sie sollen sich von allem fernhalten.

Wie prüfe ich, ob eine robots.txt korrekt ist?

Ruf sie direkt unter yoursite.com/robots.txt ab und achte auf ein Disallow: / sowie eine korrekte Sitemap:-Zeile. Nutze den robots.txt-Bericht in der Google Search Console für die maßgebliche Sicht darauf, was Google sieht, und führe einen Crawler aus, um URLs zu finden, die breiter blockiert werden als beabsichtigt.

Warum sind robots.txt-Änderungen so riskant?

Weil eine einzige Datei die gesamte Website betrifft und an der Live-Website nichts anders aussieht, wenn sie kaputtgeht. Seiten laden weiterhin, sodass das einzige Symptom ein allmählicher Rückgang des Crawlings und der Rankings ist, der erst Wochen später sichtbar wird. Robots.txt wird oft bei Migrationen, Hosting-Wechseln oder Plugin-Installationen von Personen bearbeitet, die dabei nicht an SEO denken.

Wie kann ich gewarnt werden, wenn sich die robots.txt eines Kunden ändert?

Deltio ruft die robots.txt deiner Kunden-Websites täglich ab und prüft sie, und benachrichtigt dich sofort per Slack, sobald sich etwas ändert, sei es ein neues Disallow, eine entfernte Sitemap-Zeile oder eine komplett auf Blockierung umgestellte Datei. Der Starter-Plan kostet £20 / €24 / $26 im Monat mit 14 Tagen kostenloser Testphase.

← Zurück zum Blog

So überprüfst du deine robots.txt (und die Zeile, die eine ganze Website deindexiert)

Die robots.txt-Datei besteht aus ein paar schlichten Textzeilen, die sich kaum jemand jemals ansieht, und eine dieser Zeilen kann Suchmaschinen davon abhalten, eine komplette Website zu crawlen. Sie ist einfach zu lesen, sobald man die Syntax kennt, aber genauso leicht falsch zu bearbeiten, und eine einzige fehlerhafte Änderung kann alle Seiten gleichzeitig betreffen. Hier erfährst du, wie man eine robots.txt findet und liest, welche Zeile den größten Schaden anrichtet, wie man sie richtig prüft und warum eine Änderung daran zu den gefährlichsten stillen Fehlern im SEO gehört.

Deltio überwacht die Websites deiner Kunden auf robots.txt-Änderungen und benachrichtigt dich sofort per Slack, sobald eine auftritt. Ab £20 im Monat.

Was robots.txt macht und was nicht

Die robots.txt-Datei liegt im Root-Verzeichnis einer Domain und teilt Suchmaschinen-Crawlern mit, welche Bereiche der Website sie crawlen dürfen und welche nicht. Sie ist ein Werkzeug zur Crawl-Steuerung, und genau dieses enge Verständnis ihrer Aufgabe verhindert, dass sie falsch eingesetzt wird.

Der wichtigste Unterschied: robots.txt steuert das Crawling, nicht die Indexierung. Eine URL in der robots.txt zu blockieren bittet Google lediglich darum, sie nicht abzurufen. Das entfernt diese URL nicht zuverlässig aus den Suchergebnissen und ist nicht dasselbe wie ein noindex. Tatsächlich können sich beide gegenseitig aushebeln, denn wenn du eine Seite in der robots.txt blockierst, kann Google sie nicht crawlen, was bedeutet, dass ein noindex auf dieser Seite ebenfalls nicht gelesen werden kann. Wenn dein Ziel ist, eine Seite aus den Ergebnissen herauszuhalten, ist noindex das richtige Werkzeug, und die Seite muss dafür crawlbar bleiben. Mehr dazu findest du in Der noindex-Tag erklärt.

So findest und liest du eine robots.txt

Jede robots.txt liegt am selben Ort: im Root der Domain, unter yoursite.com/robots.txt. Gib das in einen Browser ein, und du siehst die Datei jeder beliebigen Website im Netz. Beim Lesen kommt es auf vier Direktiven an:

User-agent: legt fest, für welchen Crawler die folgenden Regeln gelten. User-agent: * bedeutet alle Crawler.
Disallow: listet einen Pfad auf, den der Crawler nicht abrufen soll. Disallow: /admin/ blockiert diesen Ordner.
Allow: schafft eine Ausnahme innerhalb eines gesperrten Pfads.
Sitemap: verweist auf die XML-Sitemap der Website, damit Suchmaschinen sie finden können.

Eine typische, unauffällige Datei sieht etwa so aus:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /
Sitemap: https://yoursite.com/sitemap.xml

Das heißt: Alle Crawler dürfen auf die Website zugreifen, mit Ausnahme der Ordner admin und cart, und hier ist die Sitemap. Nichts Beunruhigendes.

Die eine Zeile, die eine ganze Website lahmlegen kann

Hier ist die Zeile, vor der man sich fürchten sollte:

User-agent: *
Disallow: /

Disallow: / blockiert das Crawling der gesamten Website. Jede Seite, auf einen Schlag. Genau diese Einstellung nutzt eine Staging- oder Entwicklungsumgebung absichtlich, damit Suchmaschinen sie ignorieren. Die Katastrophe passiert, wenn diese Staging-robots.txt versehentlich in die Produktivumgebung übernommen wird, was häufiger vorkommt, als man zugeben möchte. Die Live-Website funktioniert für Besucher weiterhin einwandfrei. Crawlern wird währenddessen gesagt, sie sollen sich von allem fernhalten, und mit der Zeit verblasst die Präsenz der Website in der Suche.

Weil robots.txt eine einzige Datei im Root ist, betrifft ihr Wirkungsradius die gesamte Domain. Ein verirrtes Zeichen in einer Zeile kann jede Seite der Website beeinträchtigen, was sie zu einer der Dateien mit dem höchsten Risiko macht, die eine Agentur nie im Blick hat.

So prüfst du eine robots.txt richtig

Ruf sie direkt ab. Besuche yoursite.com/robots.txt und lies sie durch. Achte besonders auf ein Disallow: / unter User-agent: * und bestätige, dass die Sitemap:-Zeile auf die richtige, aktive Sitemap verweist.
Nutze die Search Console. Die Google Search Console bietet einen robots.txt-Bericht, der die abgerufene Datei anzeigt, wann sie zuletzt gelesen wurde und ob es Verarbeitungsprobleme gibt. Das ist die maßgebliche Sicht darauf, was Google tatsächlich sieht.
Teste eine bestimmte URL. Mit den Tools der Search Console kannst du prüfen, ob eine bestimmte URL blockiert ist, was hilfreich ist, wenn nur ein Teil der Website betroffen ist.
Führe einen Crawler aus. Ein Crawler zeigt an, welche URLs auf der gesamten Website durch die robots.txt blockiert werden, gut geeignet, um eine Regel zu erkennen, die mehr blockiert als beabsichtigt.

All diese Methoden beantworten die Frage „Was steht gerade in der robots.txt?“. Keine davon sagt dir, wann sie sich ändert.

Warum robots.txt-Änderungen so gefährlich und so unsichtbar sind

Zwei Dinge machen robots.txt besonders riskant. Erstens ihre Reichweite: eine Datei, die gesamte Website. Zweitens ihre Unsichtbarkeit: An der Live-Website sieht nichts anders aus, wenn die robots.txt kaputtgeht. Seiten laden, Formulare funktionieren, alles zeigt grün. Das einzige Symptom ist ein allmählicher Rückgang des Crawlings und schließlich der Rankings, der Wochen später in einer Traffic-Grafik auftaucht, lange nach der eigentlichen Änderung.

Und robots.txt wird aus allen möglichen Gründen bearbeitet, die nichts mit SEO zu tun haben: eine Plattform-Migration, ein neues Hosting-Setup, ein Sicherheits-Plugin, ein Entwickler, der etwas testet. Jeder dieser Fälle kann ein Disallow: / in die Produktivumgebung kopieren oder die Sitemap:-Zeile entfernen, und sofern nicht zufällig jemand die Datei öffnet, merkt es niemand.

Für eine Agentur, die Websites betreut, die sie nicht selbst kontrolliert, ist das die schlimmste Art von Risiko: hohe Auswirkung, keine Vorwarnung, und niemand behält es im Blick. Du kannst nicht jeden Morgen die robots.txt jedes Kunden öffnen.

Wie Deltio robots.txt-Änderungen erkennt

Deltio ruft die robots.txt deiner Kunden-Websites täglich ab und prüft sie. Ändert sich die Datei, sei es, dass ein neues Disallow auftaucht, der Sitemap-Verweis verschwindet oder die gesamte Datei plötzlich das Crawling blockiert, erhältst du noch am selben Tag eine verständliche Benachrichtigung auf Slack mit dem Namen der betroffenen Website. Damit wird die gefährlichste Datei einer Website, die sonst niemand überwacht, zu etwas, worüber du einfach informiert wirst. Deltio behält auch die zugehörigen Indexierungssignale im Blick, noindex, Canonicals und die Sitemap selbst, denn diese scheitern häufiger gemeinsam als einzeln. Wie die Benachrichtigungen genau funktionieren, erfährst du unter SEO-Änderungsbenachrichtigungen.

Kurz zusammengefasst

robots.txt liegt im Root einer Domain, steuert das Crawling und nicht die Indexierung, und wird über vier Direktiven gelesen: User-agent, Disallow, Allow und Sitemap. Die Zeile, auf die man achten sollte, ist Disallow: /, die die gesamte Website blockiert und meist versehentlich durch ein Staging-Deployment entsteht. Die Datei zu prüfen zeigt dir, was aktuell drinsteht. Bei Websites, für die du verantwortlich bist, brauchst du eigentlich die Information, an welchem Tag sich etwas ändert, denn bei robots.txt sind, wenn der Traffic-Einbruch sichtbar wird, schon Wochen an Crawling verloren.

Füge deine erste Kunden-Website hinzu, verbinde Slack, und Deltio beginnt noch am selben Tag mit der Überwachung. Starte deine 14-tägige Testphase und sorg dafür, dass die nächste fehlerhafte robots.txt zuerst dich erreicht.

Häufige Fragen

Wo finde ich die robots.txt einer Website?: Sie liegt immer im Root der Domain, unter yoursite.com/robots.txt. Diese Adresse kannst du in einen Browser eingeben, um die robots.txt jeder beliebigen Website im Netz zu sehen.
Was steuert robots.txt eigentlich?: Sie steuert das Crawling, nicht die Indexierung. Sie teilt Suchmaschinen-Crawlern mit, welche Bereiche einer Website sie abrufen dürfen und welche nicht. Eine URL in der robots.txt zu blockieren entfernt sie nicht zuverlässig aus den Suchergebnissen und ist nicht dasselbe wie ein noindex-Tag.
Was ist die gefährlichste Zeile in einer robots.txt?: Disallow: / unter User-agent: *. Diese einzelne Zeile blockiert das Crawling der gesamten Website. Sie ist die richtige Einstellung für eine Staging-Umgebung und eine Katastrophe, wenn eine Staging-robots.txt versehentlich in die Produktivumgebung übernommen wird, denn die Live-Website sieht weiterhin normal aus, während Crawlern gesagt wird, sie sollen sich von allem fernhalten.
Wie prüfe ich, ob eine robots.txt korrekt ist?: Ruf sie direkt unter yoursite.com/robots.txt ab und achte auf ein Disallow: / sowie eine korrekte Sitemap:-Zeile. Nutze den robots.txt-Bericht in der Google Search Console für die maßgebliche Sicht darauf, was Google sieht, und führe einen Crawler aus, um URLs zu finden, die breiter blockiert werden als beabsichtigt.
Warum sind robots.txt-Änderungen so riskant?: Weil eine einzige Datei die gesamte Website betrifft und an der Live-Website nichts anders aussieht, wenn sie kaputtgeht. Seiten laden weiterhin, sodass das einzige Symptom ein allmählicher Rückgang des Crawlings und der Rankings ist, der erst Wochen später sichtbar wird. Robots.txt wird oft bei Migrationen, Hosting-Wechseln oder Plugin-Installationen von Personen bearbeitet, die dabei nicht an SEO denken.
Wie kann ich gewarnt werden, wenn sich die robots.txt eines Kunden ändert?: Deltio ruft die robots.txt deiner Kunden-Websites täglich ab und prüft sie, und benachrichtigt dich sofort per Slack, sobald sich etwas ändert, sei es ein neues Disallow, eine entfernte Sitemap-Zeile oder eine komplett auf Blockierung umgestellte Datei. Der Starter-Plan kostet £20 / €24 / $26 im Monat mit 14 Tagen kostenloser Testphase.