← Torna al blog Indicizzazione e scansione

Sito di staging indicizzato da Google: come scoprirlo e toglierlo

Sito di staging indicizzato da Google: come scoprirlo e toglierlo

Un sito di staging finisce indicizzato quando Google riesce a raggiungerlo: nessuna password, nessun noindex e almeno un link o una sitemap che punta lì. Per togliere da Google uno staging indicizzato si mette l'ambiente dietro autenticazione HTTP, si invia un noindex mentre gli URL escono dall'indice e, se serve nasconderli in fretta, si usa lo strumento Rimozioni di Search Console.

Le copie di staging escono allo scoperto in modi banali. Un link condiviso in un ticket pubblico, un plugin che notifica una sitemap, un tool esterno che pubblica gli URL che analizza. Basta che Googlebot trovi una pagina: segue i link interni e sotto staging.example.com o dev.example.com compare una copia completa del sito del cliente.

Come capire se lo staging è indicizzato?

Il controllo più rapido è una ricerca site: sull'host di staging. Cerca site:staging.example.com e guarda se Google restituisce pagine. Per scovare host che non conosci prova site:example.com -site:www.example.com, che elenca le pagine indicizzate su tutti i sottodomini tranne quello principale.

I risultati di site: sono indicativi, quindi conferma in Search Console. Una proprietà Dominio copre tutti i sottodomini: apri il report Rendimento, aggiungi un filtro Pagina con "URL contenenti" impostato sull'host di staging e vedrai se quegli URL raccolgono impressioni. Il Controllo URL funziona solo sugli URL di una proprietà che possiedi, quindi con le proprietà a prefisso URL lo staging va verificato a parte.

A volte se ne accorge prima il cliente: cerca il proprio brand e uno dei risultati punta a un indirizzo che nessuno riconosce. Le pagine di staging possono posizionarsi sulle ricerche esatte perché il contenuto è identico alla produzione.

Perché il robots.txt da solo non basta

Una regola Disallow: / nel robots.txt dello staging blocca la scansione, non l'indicizzazione. Google può tenere gli URL che conosce già, mostrati senza descrizione, e può indicizzarne di nuovi trovati tramite link. C'è anche un effetto collaterale: una pagina bloccata non può mostrare a Googlebot il suo noindex, perché Google non la scarica. Un Disallow sopra un noindex lo rende inutile. La guida su come controllare il robots.txt approfondisce il file.

Come togliere lo staging da Google

Conta l'ordine. I passi sono questi:

  1. Metti l'intero host di staging dietro autenticazione HTTP, con una Basic auth nella configurazione del server o con la protezione a password offerta dall'hosting. Googlebot riceve un 401, non vede contenuto e gli URL escono man mano che vengono riscansionati. È la soluzione vera, perché tiene fuori anche persone e altri bot.
  2. Se l'autenticazione non è possibile, invia noindex su ogni risposta. Il modo più pulito è l'header X-Robots-Tag a livello di server, che copre anche PDF e immagini. Per le pagine HTML funziona anche <meta name="robots" content="noindex"> nel template. Lascia aperto il robots.txt, così Google legge la direttiva.
  3. Nei casi urgenti verifica l'host di staging in Search Console e usa lo strumento Rimozioni. Google lo descrive come temporaneo: nasconde gli URL dai risultati per circa sei mesi senza toglierli dall'indice, quindi il passo 1 o 2 resta necessario.
  4. Punta i canonical dello staging verso i corrispondenti URL di produzione solo come rinforzo. Il canonical è un suggerimento che Google può ignorare.

L'errore opposto: il noindex di staging va in produzione

Il problema più caro di solito arriva il giorno del lancio. Lo staging era bloccato correttamente, poi file o database sono stati copiati in produzione con il blocco dentro. Su WordPress l'impostazione è la casella "Scoraggia i motori di ricerca dall'effettuare l'indicizzazione di questo sito" in Impostazioni > Lettura, che aggiunge un meta robots con noindex a ogni pagina. Sta nel database, quindi viaggia con la migrazione e il nuovo sito va online invisibile a Google.

Succede lo stesso con un header X-Robots-Tag impostato in un .htaccess o in un file nginx copiato dallo staging, o con il robots.txt di staging pubblicato insieme al codice. Navigando il sito non si vede nulla. La guida per scoprire un noindex in produzione spiega i controlli da fare dopo ogni deploy.

Dopo ogni lancio esegui curl -I https://www.example.com/ e cerca X-Robots-Tag, guarda il sorgente di qualche template cercando noindex e apri /robots.txt sul dominio di produzione.

Tenere sotto controllo staging e produzione

I due problemi chiedono abitudini diverse. Per lo staging basta una ricerca site: ogni tanto, finché non è protetto da password. La produzione va controllata a ogni deploy, perché il blocco arriva con un rilascio.

Deltio si occupa del lato produzione. Lo scanner SEO legge il noindex sia nel meta robots sia nell'header X-Robots-Tag di ogni URL monitorato e confronta gli scan consecutivi, e ti avvisa quando il robots.txt compare, sparisce o cambia, con le righe aggiunte e rimosse. Se un lancio si porta dietro il blocco dello staging ricevi un'email o un messaggio Slack, invece di scoprirlo da Search Console. Starter costa £24 al mese, £20 con fatturazione annuale, e c'è una prova gratuita di 14 giorni.

Domande frequenti

Uno staging indicizzato porta una penalizzazione per contenuti duplicati?
Google non applica penalizzazioni per duplicati di questo tipo. Il rischio vero è che scelga un URL di staging come versione da mostrare per alcune ricerche, dividendo i segnali e mandando i visitatori su un sito non finito. Togliere lo staging dall'indice risolve il problema.
Quanto ci mettono le pagine di staging a sparire da Google?
Le pagine protette da password o con noindex escono quando Googlebot le riscansiona, il che può richiedere da pochi giorni a diverse settimane a seconda di quanto spesso viene visitato l'host. Nel frattempo lo strumento Rimozioni di Search Console le nasconde dai risultati.
Posso limitare lo staging per indirizzo IP invece che con una password?
Sì. Una whitelist di IP tiene fuori Googlebot allo stesso modo, perché riceve un errore al posto del contenuto. È meno comoda quando il cliente controlla il sito da casa o dal telefono, ed è per questo che di solito si sceglie una password condivisa.
L'opzione di WordPress "Scoraggia i motori di ricerca" basta per lo staging?
Aggiunge un noindex che Google rispetta, ma chiunque abbia il link può aprire il sito e altri crawler possono ignorarlo. È anche facile portarla in produzione insieme al database. Per lo staging la protezione con password è più sicura.
Devo verificare il sottodominio di staging in Search Console?
Solo se usi proprietà a prefisso URL. Una proprietà Dominio, verificata con un record DNS TXT, include già tutti i sottodomini, quindi gli URL di staging compaiono nei suoi report e si possono inviare allo strumento Rimozioni.