X-Robots-Tag: Syntax, Einsatz und wie Sie den Header prüfen

Der X-Robots-Tag ist ein HTTP-Response-Header, der Suchmaschinen dieselben Anweisungen gibt wie das Robots-Meta-Tag, etwa noindex oder nofollow, ohne das HTML anzufassen. Für Dateien ohne <head>, wie PDFs oder Bilder, ist er die einzige Möglichkeit. Im Quelltext taucht er nie auf, geprüft wird er mit curl -I oder den DevTools.

So sieht der Header aus

Eine Antwort mit dem Header sieht so aus:

HTTP/2 200
content-type: application/pdf
x-robots-tag: noindex, nofollow

Mehrere Direktiven lassen sich kommagetrennt in einen Header schreiben, oder der Header wird mehrfach gesendet. Die wichtigsten:

• noindex: URL nicht in den Suchergebnissen zeigen
• nofollow: den Links auf der Seite nicht folgen
• none: Kurzform für noindex, nofollow
• nosnippet: kein Text-Snippet in den Ergebnissen
• noimageindex: Bilder der Seite nicht indexieren
• unavailable_after: 2026-12-31: URL nach diesem Datum nicht mehr zeigen

Eine Direktive kann auch nur für einen Crawler gelten, wenn sein Name davorsteht: X-Robots-Tag: googlebot: noindex. Ohne Namen gilt sie für alle. Widersprechen sich Regeln, folgt Google der restriktiveren.

Wann der Header besser ist als Meta-Robots

Das Meta-Tag braucht eine HTML-Seite, die Sie bearbeiten können. Der Header funktioniert bei allem, was der Server ausliefert, und ist damit das passende Werkzeug für PDFs, Word-Dateien, Bilder, Feeds und JSON-Endpunkte. Ein typischer Fall ist die Preisliste als PDF, die vor der zugehörigen Produktseite rankt.

Er hilft auch, wenn Sie die Serverkonfiguration ändern können, aber nicht die Templates, oder wenn eine Regel ein ganzes Verzeichnis abdecken soll.

Crawling verhindert er nicht. Google muss die URL abrufen, um den Header zu lesen. Sperrt die robots.txt die URL, wird das noindex nie gesehen. Unsere Anleitung, wie Sie die robots.txt prüfen, behandelt diese Seite.

Einrichten auf Apache, nginx und im CDN

Auf Apache mit mod_headers, in der .htaccess oder im vhost:

<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

Auf nginx:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Eine nginx-Falle: Ein add_header in einem location-Block ersetzt alle add_header-Zeilen, die aus dem server-Block geerbt würden. Bei CDNs und Hosting-Plattformen setzen Sie denselben Header über Regeln für Response-Header, zum Beispiel Cloudflare Transform Rules, eine _headers-Datei bei Netlify oder headers in der vercel.json.

So prüfen Sie den Header

Im Terminal:

curl -sI https://beispiel.de/datei.pdf | grep -i x-robots-tag
curl -sI -A "Googlebot" https://beispiel.de/ | grep -i x-robots-tag

Die zweite Zeile gibt sich als Googlebot aus und deckt Regeln auf, die nur bei Crawlern greifen. In den Chrome DevTools öffnen Sie den Tab Network, laden neu, klicken auf das Dokument und lesen die Response Headers. In der Search Console nennt die URL-Prüfung den Header als Grund, wenn er die Indexierung blockiert, unter "Indexierung zulässig?".

Die Fehler, die ganze Websites deindexieren

Der Klassiker ist ein Header, der von der Staging-Umgebung übrig bleibt. Jemand setzt Header set X-Robots-Tag "noindex", damit die Testseite nicht bei Google landet, und die Konfiguration geht beim Launch mit live. Im HTML ist davon nichts zu sehen. Die Anleitung, wie Sie ein noindex in Produktion abfangen, geht die üblichen Wege durch.

Danach kommt die zu breite Regel: ein FilesMatch-Muster für PDFs, das jede URL erwischt, ein Header auf Serverebene statt in einer einzelnen location, oder eine CDN-Regel für die ganze Zone statt für einen Pfad.

Bleiben widersprüchliche Signale. Eine Seite mit <meta name="robots" content="index"> und einem X-Robots-Tag: noindex-Header bekommt das noindex, weil die restriktivere Regel gewinnt. Der Leitfaden zum noindex-Tag erklärt, wie Google beides zusammen behandelt.

Ein Alert, wenn ein noindex im Header auftaucht

Der SEO-Scanner von Deltio liest auf jeder gescannten URL neben dem HTML auch die Response-Header. Er sucht noindex in den Meta-Tags robots und googlebot sowie im X-Robots-Tag-Header und vergleicht jeden Scan mit dem vorherigen. Liefert eine bisher indexierbare Seite plötzlich noindex, kommt ein Alert per E-Mail oder Slack. Scans laufen automatisch, dazu manuelle Scans (3 pro Tag bei Starter).

Der Alert betrifft noindex. Für andere Direktiven bleibt curl die Prüfung. Starter kostet £24 pro Monat, bei jährlicher Zahlung £20, und Sie können es 14 Tage kostenlos testen.