Contenuti duplicati: come controllarli e come farli restare sistemati

Controllare i contenuti duplicati, in pratica, significa fare una scansione del sito e poi guardare Search Console: stai cercando la stessa pagina raggiungibile da più di un URL. I colpevoli abituali sono i parametri, le versioni http e https, www e senza www, la paginazione, le versioni per la stampa e i domini di staging che nessuno ha mai bloccato.

Google non penalizza il contenuto duplicato. Da ogni gruppo di copie sceglie un URL, indicizza quello e ci accorpa gli altri. Va tutto bene finché non sceglie quello sbagliato, per esempio una variante ?sort=price al posto dell'URL pulito della categoria, o il sottodominio di staging al posto della produzione.

Sui siti dei clienti la duplicazione quasi mai nasce dai testi. È stato un CMS, una piattaforma e-commerce, un sistema di filtri o una migrazione a creare più indirizzi per la stessa pagina, e nessuno ha detto ai motori di ricerca quale tenere.

Cosa conta davvero come contenuto duplicato

Il problema di cui parla questo articolo è tecnico: un contenuto servito su più URL. Il boilerplate riutilizzato, una politica di reso standard o descrizioni prodotto brevi e simili all'interno di una linea sono un'altra faccenda, e raramente creano problemi di indicizzazione.

Quando trova URL quasi identici, Google li consolida. Uno diventa il canonico, gli altri compaiono in Search Console come pagine alternative o duplicate, e i segnali di ranking vengono uniti. Il costo è indiretto. Perdi il controllo su quale URL compare nei risultati, i link che puntano a varianti diverse si disperdono e il tempo di scansione se ne va sulle copie invece che sulle pagine nuove.

Da dove arrivano le copie su un sito tipico

Le varianti di URL sono la fonte più elementare. http://example.com/scarpe, https://example.com/scarpe, https://www.example.com/scarpe e https://www.example.com/scarpe/ possono restituire tutti la stessa pagina con un 200, se i redirect non sono configurati in modo coerente. Su molti server conta anche la differenza tra maiuscole e minuscole, quindi /Scarpe e /scarpe possono essere due URL distinti.

Il livello successivo sono i parametri di query. Tag UTM, ID di sessione, valori ?sort= e ?page= sulle pagine categoria: ognuno crea un nuovo indirizzo. Negli e-commerce il caso classico è la navigazione a faccette, dove ogni combinazione di filtri per colore, taglia e prezzo può generare un URL indicizzabile.

Poi ci sono interi host alternativi: un sito di staging su staging.example.com lasciato aperto, o un vecchio dominio che continua a servire contenuti dopo un rebranding. Completano l'elenco gli articoli ripubblicati su altri siti e le versioni per la stampa con un URL proprio.

Come trovare i duplicati

Parti da un crawler come Screaming Frog o Sitebulb. Ordina i risultati per title duplicati, meta description duplicate e pagine il cui canonical punta a un URL diverso da se stesse. Con una sola scansione fai emergere quasi tutta la duplicazione tecnica.

Poi apri il report Pagine, sotto Indicizzazione, in Google Search Console. Due stati ti dicono cosa ha deciso Google:

• "Pagina duplicata senza URL canonico selezionato dall'utente" significa che Google ha trovato delle copie e ha scelto al posto tuo, perché non avevi indicato una preferenza.
• "Pagina duplicata, Google ha scelto un URL canonico diverso da quello selezionato dall'utente" significa che il canonical l'avevi dichiarato e Google l'ha scavalcato, di solito perché altri segnali dicevano il contrario.

Nello stesso elenco trovi anche "Pagina alternativa con tag canonical appropriato", ma di norma quello va bene: vuol dire che il tuo canonical è stato rispettato.

Per i contenuti copiati su altri domini, cerca su Google una frase caratteristica tra virgolette. E se ti serve sapere cosa ha registrato Google per un indirizzo preciso, il Controllo URL mostra sia il canonico dichiarato dall'utente sia quello selezionato da Google. Lo strumento è spiegato in come verificare se una pagina è indicizzata.

Come sistemarli

Dai a ogni pagina indicizzabile un canonical auto-referenziale, scritto come URL assoluto, con un solo <link rel="canonical"> nell'<head>. Quando un duplicato non ha alcun motivo di esistere, come un vecchio dominio o la variante www non preferita, usa un redirect 301 invece del canonical.

Fai in modo che i segnali siano coerenti. Canonical, voce nella sitemap, link interni ed eventuali annotazioni hreflang devono indicare tutti la stessa versione. Per Google il canonical è un suggerimento, e un suggerimento smentito dalla sitemap e da tutti i link interni viene spesso ignorato: è esattamente così che finisci nel secondo stato di Search Console citato sopra.

Usa noindex solo per le pagine che devono restare accessibili ma non devono posizionarsi, come i risultati della ricerca interna o le combinazioni di filtri poco utili. Non mettere sulla stessa pagina un noindex e un canonical che punta a un altro URL: sono istruzioni in conflitto.

Perché la correzione non dura

Il canonical è una riga nell'head del template, ed è facile che un rilascio lo rompa senza che nessuno se ne accorga. Un refactoring lo toglie da un template. L'aggiornamento di un plugin inizia a stamparlo come percorso relativo. Una sezione si ritrova con due tag canonical perché li scrivono sia il tema sia il plugin SEO. Una build di staging fa puntare tutti i canonical all'host di staging e finisce in produzione. In tutti e quattro i casi, nel browser la pagina è identica.

Un audit dei contenuti duplicati, quindi, resta valido più o meno fino al deploy successivo. La versione più ampia di questo problema è trattata nella nostra guida al monitoraggio delle modifiche al codice.

Tenere d'occhio i canonical con Deltio

Deltio non confronta il testo delle pagine, quindi non ti dirà che due articoli sono simili all'80%. Per quello ti servono ancora un crawler o uno strumento di similarità. Quello che controlla è il canonical stesso. Ogni giorno legge il canonical delle pagine presenti nella sitemap, lo confronta con il controllo precedente e ti manda un alert su Slack o via email quando cambia. Title, meta description e H1 vengono controllati allo stesso modo, e la cosa conta perché i title duplicati sono spesso il primo segnale visibile di duplicazione. Compaiono anche le variazioni negli URL della sitemap, così un filtro che comincia ad aggiungere indirizzi alla sitemap non passa inosservato. L'articolo sul canonical tag checker spiega come controllare a mano una singola pagina.

Il ciclo è giornaliero, quindi un canonical rotto viene rilevato il giorno dopo e non nel giro di pochi minuti. Per questo tipo di problema di solito basta per correggerlo prima che Google riscansioni buona parte del sito.