Staging-Seite bei Google indexiert: erkennen und entfernen
Eine Staging-Seite wird indexiert, wenn Google sie erreichen kann: kein Passwort, kein noindex und mindestens ein Link oder eine Sitemap, die dorthin führt. Um eine indexierte Staging-Seite aus Google zu entfernen, stellen Sie sie hinter eine HTTP-Authentifizierung, senden ein noindex, solange die URLs aus dem Index fallen, und nutzen bei Eile das Tool zum Entfernen von URLs in der Search Console.
Die Lecks sind alltäglich: ein Link in einem öffentlichen Ticket, ein Plugin, das eine Sitemap anpingt, ein externes Tool, das analysierte URLs veröffentlicht. Findet Googlebot eine einzige Seite, folgt er den internen Links, und unter staging.example.com oder dev.example.com taucht eine vollständige Kopie der Kundenwebsite auf.
Wie erkennen Sie, ob Ihre Staging-Seite indexiert ist?
Am schnellsten geht es mit einer site:-Suche auf den Staging-Host. Suchen Sie nach site:staging.example.com und prüfen Sie, ob Google Seiten liefert. Um Hosts zu finden, die Sie nicht kennen, hilft site:example.com -site:www.example.com: Das zeigt indexierte Seiten auf allen Subdomains außer der Hauptdomain.
site:-Ergebnisse sind nur Näherungswerte, deshalb prüfen Sie in der Search Console nach. Eine Domain-Property umfasst alle Subdomains: Öffnen Sie den Leistungsbericht, setzen Sie einen Seitenfilter mit "URLs mit" auf den Staging-Host und Sie sehen, ob diese URLs Impressionen sammeln. Die URL-Prüfung funktioniert nur in einer eigenen Property, bei URL-Präfix-Properties müssen Sie den Staging-Host also separat bestätigen.
Manchmal bemerkt es der Kunde zuerst. Er sucht nach seiner Marke und ein Treffer führt zu einer Adresse, die niemand kennt.
Warum robots.txt allein nicht reicht
Eine Regel Disallow: / in der robots.txt der Staging-Umgebung verhindert das Crawling, nicht die Indexierung. Google kann bereits bekannte URLs behalten, ohne Beschreibung angezeigt, und neue URLs indexieren, die es über Links findet. Eine gesperrte Seite kann Googlebot zudem ihr noindex nie zeigen, weil Google sie nicht abruft. Ein Disallow über einem noindex hebt es auf. Unser Leitfaden, wie Sie die robots.txt prüfen, geht näher auf die Datei ein.
So entfernen Sie eine Staging-Seite aus Google
Die Reihenfolge ist wichtig. Gehen Sie so vor:
- Stellen Sie den gesamten Staging-Host hinter eine HTTP-Authentifizierung, per Basic Auth in der Serverkonfiguration oder über den Passwortschutz Ihres Hosters. Googlebot erhält einen 401, sieht keinen Inhalt, und die URLs fallen beim nächsten Crawl nach und nach heraus. Das ist die eigentliche Lösung, weil sie auch Menschen und andere Bots aussperrt.
- Ist keine Authentifizierung möglich, senden Sie
noindexbei jeder Antwort. Am saubersten ist derX-Robots-Tag-Header auf Serverebene, der auch PDFs und Bilder abdeckt. Für HTML-Seiten funktioniert ein<meta name="robots" content="noindex">im Template. Lassen Sie dierobots.txtoffen, damit Google die Anweisung lesen kann. - In dringenden Fällen bestätigen Sie den Staging-Host in der Search Console und nutzen das Tool zum Entfernen von URLs. Google beschreibt es als vorübergehende Maßnahme: Es blendet URLs für etwa sechs Monate aus den Ergebnissen aus, entfernt sie aber nicht aus dem Index. Schritt 1 oder 2 bleibt also nötig.
- Lassen Sie die Canonical-Tags der Staging-Seite auf die passenden Live-URLs zeigen, aber nur als Ergänzung. Ein Canonical ist ein Hinweis, den Google ignorieren kann.
Der umgekehrte Fehler: das Staging-noindex landet live
Das teurere Problem entsteht meist am Launch-Tag. Die Staging-Seite war korrekt gesperrt, dann wurden Dateien oder Datenbank samt Sperre in die Produktion kopiert. In WordPress ist es das Häkchen "Suchmaschinen davon abhalten, diese Website zu indexieren" unter Einstellungen > Lesen, das jeder Seite ein Meta-Robots-Tag mit noindex hinzufügt. Die Einstellung liegt in der Datenbank, wandert also mit der Migration mit, und die neue Website geht für Google unsichtbar online.
Dasselbe passiert mit einem X-Robots-Tag-Header in einer .htaccess oder nginx-Datei, die aus dem Staging kopiert wurde, oder mit der Staging-robots.txt, die zusammen mit dem Code deployt wird. Der Leitfaden, wie Sie ein noindex in der Produktion erkennen, beschreibt die Prüfungen nach jedem Deployment.
Führen Sie nach jedem Launch curl -I https://www.example.com/ aus und suchen Sie nach X-Robots-Tag, durchsuchen Sie den Quelltext einiger Templates nach noindex und öffnen Sie /robots.txt auf der Live-Domain.
Staging und Produktion im Blick behalten
Für die Staging-Seite genügt ab und zu eine site:-Suche, bis sie per Passwort geschützt ist. Die Produktion prüfen Sie bei jedem Deployment, weil die Sperre mit einem Release kommt.
Deltio übernimmt die Produktionsseite. Der SEO-Scanner liest noindex sowohl im Meta-Robots-Tag als auch im X-Robots-Tag-Header jeder überwachten URL und vergleicht aufeinanderfolgende Scans, und er meldet, wenn die robots.txt auftaucht, verschwindet oder sich ändert, mit den hinzugefügten und entfernten Zeilen. Bringt ein Launch die Staging-Sperre mit, erhalten Sie eine E-Mail oder eine Slack-Nachricht, statt es erst in der Search Console zu entdecken. Starter kostet £24 im Monat, bei jährlicher Abrechnung £20, mit einer 14-tägigen kostenlosen Testphase.
Häufige Fragen
- Führt eine indexierte Staging-Seite zu einer Abstrafung wegen Duplicate Content?
- Google verhängt für diese Art von Duplikat keine Abstrafung. Das eigentliche Risiko: Google wählt für manche Suchanfragen eine Staging-URL als anzuzeigende Version, verteilt damit die Signale und schickt Besucher auf eine unfertige Website. Wer die Staging-Seite aus dem Index entfernt, löst das Problem.
- Wie lange dauert es, bis Staging-Seiten aus Google verschwinden?
- Seiten hinter einem Passwort oder mit noindex fallen heraus, sobald Googlebot sie erneut crawlt. Das kann je nach Crawl-Häufigkeit des Hosts einige Tage bis mehrere Wochen dauern. In der Zwischenzeit blendet das Tool zum Entfernen von URLs in der Search Console sie aus den Ergebnissen aus.
- Kann ich die Staging-Seite per IP-Adresse statt per Passwort beschränken?
- Ja. Eine IP-Allowlist hält Googlebot genauso zuverlässig fern, weil er statt des Inhalts einen Fehler erhält. Sie ist allerdings unpraktisch, wenn Kunden die Seite von zu Hause oder mobil prüfen. Deshalb wird meist ein gemeinsames Passwort gewählt.
- Reicht die WordPress-Option "Suchmaschinen davon abhalten" für die Staging-Seite?
- Sie setzt ein noindex, das Google beachtet, aber jeder mit dem Link kann die Seite öffnen, und andere Crawler können es ignorieren. Außerdem gelangt sie mit der Datenbank leicht in die Produktion. Für Staging ist ein Passwortschutz die sicherere Wahl.
- Muss ich die Staging-Subdomain in der Search Console bestätigen?
- Nur bei URL-Präfix-Properties. Eine Domain-Property, die per DNS-TXT-Eintrag bestätigt wird, umfasst bereits alle Subdomains. Staging-URLs erscheinen dann in ihren Berichten und lassen sich an das Tool zum Entfernen von URLs übergeben.