← Retour au blog Indexation et exploration

Site de staging indexé par Google : comment le repérer et le retirer

Site de staging indexé par Google : comment le repérer et le retirer

Un site de staging se retrouve indexé quand Google peut l'atteindre : pas de mot de passe, pas de noindex, et au moins un lien ou un sitemap qui y mène. Pour retirer de Google un staging indexé, on le place derrière une authentification HTTP, on envoie un noindex le temps que les URL sortent de l'index et, s'il faut les masquer vite, on passe par l'outil Suppressions de la Search Console.

Les fuites sont banales : un lien collé dans un ticket public, une extension qui notifie un sitemap, un outil tiers qui publie les URL qu'il analyse. Il suffit que Googlebot trouve une page : il suit les liens internes, et une copie complète du site client apparaît sous staging.example.com ou dev.example.com.

Comment savoir si votre staging est indexé ?

Le contrôle le plus rapide est une recherche site: sur l'hôte de staging. Tapez site:staging.example.com et regardez si Google renvoie des pages. Pour trouver des hôtes que vous ne connaissez pas, essayez site:example.com -site:www.example.com, qui liste les pages indexées sur tous les sous-domaines sauf le principal.

Les résultats de site: restent approximatifs, alors confirmez dans la Search Console. Une propriété de domaine couvre tous les sous-domaines : ouvrez le rapport Performances, ajoutez un filtre Page avec "URL contenant" l'hôte de staging, et vous verrez si ces URL obtiennent des impressions. L'inspection d'URL ne fonctionne que sur les URL d'une propriété que vous possédez, donc avec des propriétés de type préfixe d'URL il faut valider le staging à part.

Parfois, c'est le client qui le remarque le premier. Il cherche sa marque et un résultat pointe vers une adresse que personne ne reconnaît.

Pourquoi le robots.txt seul ne suffit pas

Une règle Disallow sur / dans le robots.txt du staging bloque l'exploration, pas l'indexation. Google peut garder les URL qu'il connaît déjà, affichées sans description, et en indexer de nouvelles découvertes via des liens. Autre effet pervers : une page bloquée ne peut jamais montrer son noindex à Googlebot, puisque Google ne la télécharge pas. Un Disallow posé sur un noindex l'annule. Notre guide pour vérifier le robots.txt détaille le fichier.

Comment retirer un staging de Google

L'ordre compte. Voici les étapes :

  1. Placez tout l'hôte de staging derrière une authentification HTTP, avec une Basic auth dans la configuration du serveur ou la protection par mot de passe de votre hébergeur. Googlebot reçoit un 401, ne voit aucun contenu, et les URL sortent au fil des nouvelles explorations. C'est la vraie solution, car elle bloque aussi les visiteurs et les autres robots.
  2. Si l'authentification est impossible, envoyez noindex sur chaque réponse. Le plus propre est l'en-tête X-Robots-Tag au niveau du serveur, qui couvre aussi les PDF et les images. Pour les pages HTML, une balise <meta name="robots" content="noindex"> dans le gabarit fonctionne. Laissez le robots.txt ouvert pour que Google lise la directive.
  3. En cas d'urgence, validez l'hôte de staging dans la Search Console et utilisez l'outil Suppressions. Google le présente comme temporaire : il masque les URL des résultats pendant environ six mois sans les retirer de l'index, donc l'étape 1 ou 2 reste indispensable.
  4. Faites pointer les balises canonical du staging vers les URL de production correspondantes, en renfort seulement. Une canonical est une indication que Google peut ignorer.

L'erreur inverse : le noindex du staging part en production

Le problème le plus coûteux arrive en général le jour du lancement. Le staging était bien bloqué, puis les fichiers ou la base de données ont été copiés en production avec le blocage dedans. Sous WordPress, le réglage est la case "Demander aux moteurs de recherche de ne pas indexer ce site" dans Réglages > Lecture, qui ajoute une balise meta robots noindex sur chaque page. Il est stocké en base, donc il voyage avec la migration et le nouveau site sort invisible pour Google.

Même scénario avec un en-tête X-Robots-Tag défini dans un .htaccess ou un fichier nginx copié depuis le staging, ou avec le robots.txt du staging déployé avec le code. Rien de tout cela ne se voit en naviguant. Le guide pour repérer un noindex en production décrit les contrôles à faire après chaque déploiement.

Après chaque lancement, lancez curl -I https://www.example.com/ et cherchez X-Robots-Tag, affichez la source de quelques gabarits en cherchant noindex, puis ouvrez /robots.txt sur le domaine de production.

Garder un œil sur le staging et la production

Pour le staging, une recherche site: de temps en temps suffit, jusqu'à ce qu'il soit protégé par mot de passe. La production se contrôle à chaque déploiement, parce que le blocage arrive avec une mise en ligne.

Deltio couvre le côté production. Son scanner SEO lit le noindex dans la balise meta robots et dans l'en-tête X-Robots-Tag de chaque URL surveillée et compare les scans successifs, et il vous alerte quand le robots.txt apparaît, disparaît ou change, avec les lignes ajoutées et supprimées. Si un lancement embarque le blocage du staging, vous recevez un e-mail ou un message Slack au lieu de le découvrir dans la Search Console. Starter coûte £24 par mois, ou £20 en facturation annuelle, avec un essai gratuit de 14 jours.

Questions fréquentes

Un staging indexé entraîne-t-il une pénalité pour contenu dupliqué ?
Google n'applique pas de pénalité pour ce type de duplication. Le vrai risque est qu'il choisisse une URL de staging comme version à afficher pour certaines requêtes, ce qui disperse les signaux et envoie les visiteurs sur un site inachevé. Retirer le staging de l'index règle le problème.
Combien de temps les pages de staging mettent-elles à disparaître de Google ?
Les pages protégées par mot de passe ou en noindex sortent quand Googlebot les explore à nouveau, ce qui peut prendre de quelques jours à plusieurs semaines selon la fréquence d'exploration de l'hôte. En attendant, l'outil Suppressions de la Search Console les masque des résultats.
Peut-on restreindre le staging par adresse IP plutôt que par mot de passe ?
Oui. Une liste blanche d'IP tient Googlebot à l'écart tout aussi bien, puisqu'il reçoit une erreur au lieu du contenu. C'est moins pratique quand le client relit le site depuis chez lui ou sur mobile, d'où le choix fréquent d'un mot de passe partagé.
Le réglage WordPress "Demander aux moteurs de recherche de ne pas indexer ce site" suffit-il pour un staging ?
Il ajoute un noindex que Google respecte, mais toute personne qui a le lien peut ouvrir le site et d'autres robots peuvent l'ignorer. Il se retrouve aussi facilement en production avec la base de données. Pour un staging, la protection par mot de passe est plus sûre.
Faut-il valider le sous-domaine de staging dans la Search Console ?
Seulement si vous utilisez des propriétés de type préfixe d'URL. Une propriété de domaine, validée par un enregistrement DNS TXT, inclut déjà tous les sous-domaines, donc les URL de staging apparaissent dans ses rapports et peuvent être envoyées à l'outil Suppressions.