Ist dieser robots.txt-Test kostenlos?

Ja. Sie können 3 Prüfungen pro Tag ohne Konto durchführen, und das Ergebnis erscheint sofort auf der Seite. Wenn Sie die robots.txt mehrerer Websites laufend überwachen möchten, übernimmt Deltio das als kostenpflichtigen Dienst mit einer kostenlosen Testphase von 14 Tagen.

Entspricht das Ergebnis dem Verhalten von Google?

Das Tool folgt Googles dokumentierter Auslegung von RFC 9309: die genaueste User-Agent-Gruppe, die Platzhalter `*` und `$`, die längste passende Regel gewinnt und bei Gleichstand gewinnt Allow. Andere Crawler, die sich an den Standard halten, sollten zum selben Ergebnis kommen, manche kleinere Bots behandeln Platzhalter oder widersprüchliche Regeln aber anders.

Kann ich eine robots.txt vor der Veröffentlichung testen?

Mit diesem Tool nicht. Es lädt die live geschaltete Datei der eingegebenen Website und zeigt damit immer, was Crawler tatsächlich sehen. Um einen Entwurf zu testen, veröffentlichen Sie ihn auf einem öffentlich erreichbaren Host und prüfen ihn dort.

Wie sperre ich GPTBot, ohne Google zu sperren?

Fügen Sie eine eigene Gruppe mit `User-agent: GPTBot` und darunter `Disallow: /` hinzu. Googlebot ignoriert diese Gruppe und folgt weiter seinen eigenen Regeln oder der Gruppe `*`. OpenAI dokumentiert auch weitere User-Agents wie OAI-SearchBot, entscheiden Sie also, welche Sie sperren wollen.

Warum meldet die Search Console blockiert, das Tool aber erlaubt?

Google nutzt möglicherweise noch eine zwischengespeicherte Kopie der robots.txt, die es in der Regel bis zu 24 Stunden behält. Prüfen Sie außerdem, ob Sie genau dieselbe URL getestet haben: Protokoll, Subdomain und Groß- und Kleinschreibung zählen, weil jeder Host eine eigene Datei hat und Pfade case-sensitiv verglichen werden.

← Kostenlose Website-Tools

robots.txt kostenlos prüfen

Geben Sie eine Seiten-URL ein, wählen Sie einen Crawler und sehen Sie, ob die robots.txt ihn zulässt oder blockiert, samt der Zeile, die entscheidet. Kostenlos, ohne Anmeldung.

So kommt das Tool zu seinem Ergebnis

Fügen Sie die vollständige URL einer Seite ein, wählen Sie einen User-Agent und starten Sie die Prüfung. Das Tool lädt /robots.txt aus dem Stammverzeichnis dieses Hosts und wendet die Regeln so an, wie Google sie auf Basis von RFC 9309 dokumentiert. Jeder Host hat seine eigene Datei: https://shop.example.com und https://example.com werden getrennt geprüft.

Im ersten Schritt wird die Gruppe gewählt. Ein Crawler folgt genau einer Gruppe, nämlich der, deren User-agent-Zeile seinen Namen am genauesten trifft. Enthält die Datei eine Gruppe User-agent: Googlebot, folgt Googlebot dieser Gruppe und ignoriert alles unter User-agent: *. Daran scheitern viele: Ein neues Disallow landet unter *, und Google crawlt weiter, weil seine eigene Gruppe davon nichts weiß.

Im zweiten Schritt wird der Pfad abgeglichen. Jede Allow- und Disallow-Regel der Gruppe wird mit Pfad und Query-String der URL verglichen. * steht für eine beliebige Zeichenfolge, $ für das Ende der URL. Groß- und Kleinschreibung zählt, Disallow: /Admin/ blockiert also nicht /admin/. Passen mehrere Regeln, gewinnt die längste. Passen ein Allow und ein Disallow gleicher Länge, gewinnt Allow. Passt keine Regel, ist die URL erlaubt.

Das Ergebnis lesen

Das Ergebnis lautet erlaubt oder blockiert für den gewählten User-Agent. Darunter sehen Sie die entscheidende Regel mit Zeilennummer, die angewendete User-Agent-Gruppe und die ganze Datei mit nummerierten Zeilen, damit Sie die Regel im Zusammenhang sehen.

Ein Beispiel:

User-agent: *
Disallow: /blog/
Allow: /blog/guides/
Disallow: /*.pdf$

Für /blog/guides/robots-basics/ passen zwei Regeln, Disallow: /blog/ und Allow: /blog/guides/. Das Allow ist länger, die Seite ist also erlaubt. Bei /blog/guides/checklist.pdf würde man erwarten, dass die PDF-Regel gewinnt, doch Allow: /blog/guides/ bleibt der längste Treffer: Auch das PDF darf gecrawlt werden. Bei /files/price-list.pdf passt nur die PDF-Regel, die URL ist blockiert. Regeln mit Platzhaltern verlieren oft gegen lange Ordnerpfade. Deshalb lohnt es sich, die echte URL zu testen, statt die Datei nur zu lesen.

Wenn die Datei fehlt oder der Server streikt

Antwortet /robots.txt mit 404 oder einem anderen 4xx-Status, gehen Crawler davon aus, dass es keine Einschränkungen gibt, und alles ist erlaubt. Für viele kleine Websites ist das völlig in Ordnung.

Ein 5xx-Fehler oder ein Server, der gar nicht antwortet, ist etwas anderes. Google wertet das als vorübergehende Sperre der gesamten Website und setzt das Crawling aus, bis die Datei wieder abrufbar ist. Eine robots.txt, die wegen einer Firewall- oder CDN-Regel in einen Timeout läuft, kann so das Crawling aller Seiten stoppen, obwohl keine einzige Zeile etwas blockiert. Meldet das Tool einen Serverfehler, öffnen Sie die Datei im Browser und prüfen Sie zuerst die Logs von Hosting oder CDN.

Was die robots.txt nicht leistet

Eine blockierte URL wird nicht gecrawlt, kann aber trotzdem indexiert werden. Verlinken andere Seiten auf sie, erscheint sie oft ohne Beschreibung in den Suchergebnissen. Und weil Google die Seite nicht abrufen kann, sieht es auch kein noindex darauf. Soll eine Seite aus dem Index, lassen Sie sie crawlbar und setzen Sie noindex. Wie das geht, erklärt unser Leitfaden zum noindex-Tag, und prüfen, ob eine Seite indexiert ist zeigt, wie Sie das Ergebnis in der Search Console bestätigen.

Außerdem ist die robots.txt eine Bitte, keine Zugriffskontrolle. Googlebot, Bingbot und GPTBot halten sich daran, viele andere Bots nicht. Verstecken Sie damit niemals vertrauliche Inhalte.

Eine versehentlich blockierte Seite freigeben

Beginnen Sie bei der entscheidenden Zeile. Ist es eine breite Regel wie ein Disallow: /, das von einer Staging-Umgebung übrig geblieben ist, entfernen oder verengen Sie sie. Soll eine Seite in einem gesperrten Ordner gecrawlt werden, fügen Sie ein Allow hinzu, das länger ist als das Disallow, das es schlagen muss. Betrifft das Problem nur einen Crawler, suchen Sie nach einer eigenen Gruppe für diesen User-Agent: Regeln unter * erreichen ihn nicht und müssen in seine Gruppe kopiert werden.

Ist die korrigierte Datei online, testen Sie dieselbe URL mit demselben User-Agent erneut. Google speichert die robots.txt in der Regel bis zu 24 Stunden im Cache. Bei dringenden Korrekturen zeigt der robots.txt-Bericht in der Search Console die zuletzt abgerufene Version und ermöglicht einen erneuten Abruf. Eine ausführlichere manuelle Anleitung finden Sie unter robots.txt prüfen.

Warum ein einmaliger Test nicht reicht

Dieser Test zeigt, was jetzt in der Datei steht. Die robots.txt ändert sich aus Gründen, die mit SEO wenig zu tun haben: ein Deployment, das die Staging-Datei in die Produktion bringt, ein Plugin-Update, ein Entwickler, der einen Bot aussperrt, weil er den Server belastet. Niemand sagt der SEO-Verantwortlichen Bescheid, und das erste Anzeichen ist oft ein Rückgang der gecrawlten Seiten Wochen später.

Deltio überwacht die robots.txt jeder Website, die Sie hinzufügen. Taucht die Datei auf, verschwindet sie oder ändert sie sich, erhalten Sie sofort eine Benachrichtigung per E-Mail oder Slack mit dem Diff der hinzugefügten und entfernten Zeilen. So sehen Sie die geänderte Regel und nicht nur ein vages „Datei geändert“. Die Tarife beginnen bei £24 pro Monat, oder £20 pro Monat bei jährlicher Zahlung, mit einer kostenlosen Testphase von 14 Tagen.

Häufige Fragen

Ist dieser robots.txt-Test kostenlos?: Ja. Sie können 3 Prüfungen pro Tag ohne Konto durchführen, und das Ergebnis erscheint sofort auf der Seite. Wenn Sie die robots.txt mehrerer Websites laufend überwachen möchten, übernimmt Deltio das als kostenpflichtigen Dienst mit einer kostenlosen Testphase von 14 Tagen.
Entspricht das Ergebnis dem Verhalten von Google?: Das Tool folgt Googles dokumentierter Auslegung von RFC 9309: die genaueste User-Agent-Gruppe, die Platzhalter `*` und `$`, die längste passende Regel gewinnt und bei Gleichstand gewinnt Allow. Andere Crawler, die sich an den Standard halten, sollten zum selben Ergebnis kommen, manche kleinere Bots behandeln Platzhalter oder widersprüchliche Regeln aber anders.
Kann ich eine robots.txt vor der Veröffentlichung testen?: Mit diesem Tool nicht. Es lädt die live geschaltete Datei der eingegebenen Website und zeigt damit immer, was Crawler tatsächlich sehen. Um einen Entwurf zu testen, veröffentlichen Sie ihn auf einem öffentlich erreichbaren Host und prüfen ihn dort.
Wie sperre ich GPTBot, ohne Google zu sperren?: Fügen Sie eine eigene Gruppe mit `User-agent: GPTBot` und darunter `Disallow: /` hinzu. Googlebot ignoriert diese Gruppe und folgt weiter seinen eigenen Regeln oder der Gruppe `*`. OpenAI dokumentiert auch weitere User-Agents wie OAI-SearchBot, entscheiden Sie also, welche Sie sperren wollen.
Warum meldet die Search Console blockiert, das Tool aber erlaubt?: Google nutzt möglicherweise noch eine zwischengespeicherte Kopie der robots.txt, die es in der Regel bis zu 24 Stunden behält. Prüfen Sie außerdem, ob Sie genau dieselbe URL getestet haben: Protokoll, Subdomain und Groß- und Kleinschreibung zählen, weil jeder Host eine eigene Datei hat und Pfade case-sensitiv verglichen werden.