Il noindex era presente ma bloccato da un Disallow nel robots.txt, impedendo a Google di leggerlo

Ieri, domenica 27 luglio 2026, chiunque abbia digitato su Google una query brand legata ad Anthropic si è trovato davanti qualcosa che non avrebbe mai dovuto vedere: conversazioni condivise del chatbot Claude apparivano nei risultati di ricerca come fossero normali pagine web. Non era un test, non era una fuga di dati orchestrata: era un file robots.txt configurato male. E per chi fa SEO, è la dimostrazione lampante che continuiamo a commettere lo stesso errore da due decenni.

Non è un test: conversazioni di Claude in SERP

La scoperta è partita da Reddit, dove alcuni utenti hanno iniziato a usare operatori di ricerca avanzati come site:claude.ai/share per verificare cosa Google avesse effettivamente scansionato. Il risultato è stato una lista di conversazioni condivise — chat di Claude e Artifacts, le mini-app interattive che gli utenti creano all’interno del chatbot, perfettamente indicizzate e ricercabili da chiunque. Il volume non era trascurabile: tra i contenuti esposti sono emerse cartelle cliniche, documenti aziendali riservati e nomi e numeri di telefono di minori.

Non si è trattato di una svista isolata. Alcune delle conversazioni indicizzate contenevano chiavi di portafogli di criptovalute e dati personali come nomi e indirizzi. Anthropic, contattata da TechCrunch, ha dichiarato che i link di condivisione appaiono nei risultati di ricerca solo quando gli utenti li pubblicano in posizioni accessibili ai crawler, e che i link inviati tramite messaggi privati non vengono indicizzati. Una difesa tecnicamente vera, ma che non affronta il nodo centrale: la configurazione lato server non avrebbe mai dovuto permettere a Google di considerare quelle pagine come indicizzabili.

Il precedente è fresco. Tempo fa un ricercatore era riuscito a raschiare quasi 100.000 conversazioni di ChatGPT che gli utenti avevano impostato come condivise pubblicamente e che Google aveva indicizzato. Il meccanismo è simile: l’URL pubblico esiste, il crawler lo raggiunge, e in assenza di una direttiva chiara di noindex, la pagina finisce in SERP. La differenza, nel caso di Claude, è che il noindex c’era. Solo che Google non poteva vederlo.

Il paradosso del noindex nascosto

Qui sta il cuore tecnico della vicenda. Il 27 luglio, analizzando le regole di scansione sulle pagine di condivisione di Claude, è emerso che il tag noindex era presente ma bloccato da una direttiva Disallow nel file robots.txt. Questo significa che Googlebot riceveva l’istruzione di non scansionare quelle pagine, e di conseguenza non poteva leggere il meta tag noindex che avrebbe effettivamente impedito l’indicizzazione.

È il paradosso che qualsiasi SEO con un minimo di esperienza ha incontrato almeno una volta: per dire a Google di non indicizzare una pagina, devi permettergli di scansionarla. Se blocchi la scansione con robots.txt, Google non vedrà mai il noindex — ma potrà comunque indicizzare la pagina basandosi su segnali esterni, come i link in entrata o le menzioni. Google, per voce di John Mueller, lo ripete da anni: le pagine bloccate da robots.txt possono comunque essere indicizzate. Il motivo è semplice: il file robots.txt controlla la scansione, non l’indicizzazione. Sono due processi distinti, e confonderli è l’errore che trasforma una svista tecnica in un problema di privacy su larga scala.

Il meccanismo, in dettaglio, funziona così: quando un URL viene scoperto — tramite una sitemap, un link esterno, o una condivisione pubblica — Google lo inserisce nel suo indice anche senza averlo scansionato. In questi casi, il motore di ricerca usa il testo del link, il contesto della pagina linkante e altri segnali per determinare di cosa parli quella pagina e se mostrarla nei risultati. Il tag noindex, che dovrebbe essere l’ultima parola sulla non indicizzazione, non viene letto perché il robots.txt ha già detto al crawler di fermarsi prima di raggiungere il contenuto della pagina. È come mettere un cartello “vietato entrare” sulla porta e poi lamentarsi che le persone non hanno letto il promemoria sulla scrivania.

La soluzione tecnica è sempre stata sotto gli occhi di tutti: per impedire l’indicizzazione, serve il tag noindex in testa alla pagina, e per farlo leggere bisogna permettere a Googlebot di accedere all’URL. Se invece l’obiettivo è bloccare del tutto la scansione — per risparmiare crawl budget, per esempio — allora bisogna essere consapevoli che l’indicizzazione può comunque avvenire, e che l’unica barriera reale resta il noindex. Nel caso di Claude, né l’una né l’altra strategia erano implementate correttamente: il Disallow impediva la scansione, ma il noindex era irraggiungibile, lasciando le pagine in un limbo pericoloso.

L’ironia è che Anthropic, un’azienda che costruisce intelligenza artificiale, è caduta su un problema che i webmaster risolvono da vent’anni con tre righe di configurazione. Il danno reputazionale e la potenziale esposizione di dati sensibili sono la conseguenza diretta di una scelta tecnica che qualsiasi corso base di SEO insegna a non fare.

Checklist SEO: cosa non ripetere

Se un’azienda come Anthropic, con risorse tecniche e ingegneri di primo livello, è caduta nella trappola del Disallow senza noindex accessibile, chiunque può ripetere l’errore. La domanda per chi gestisce siti, piattaforme e contenuti generati dagli utenti è una sola: siete certi che le vostre pagine private siano davvero protette dall’indicizzazione?

La checklist è breve ma va applicata con precisione chirurgica. Primo: qualsiasi pagina che non deve apparire in SERP deve avere un tag noindex nell’HTML, punto. Secondo: quell’URL non deve essere bloccato da robots.txt, altrimenti Google non leggerà mai il noindex. Terzo: verificate con Google Search Console, strumento “Ispezione URL”, che Googlebot riesca effettivamente a raggiungere la pagina e a vedere il meta tag. Quarto: se usate pagine di staging, ambienti di test o URL di condivisione temporanei, applicate il noindex prima che vengano scoperti — una volta indicizzati, la rimozione richiede tempo e non è garantita. Quinto: ricordate che il robots.txt non è uno strumento di privacy. La sua funzione è gestire il crawl budget, non proteggere i dati.

Per le piattaforme che generano URL di condivisione pubblica — come fanno Claude e ChatGPT — la lezione è ancora più stringente: il noindex deve essere parte del template di pagina fin dal primo giorno. Non si può delegare agli utenti la responsabilità di non pubblicare i link in luoghi accessibili ai crawler, perché gli utenti lo faranno comunque. E quando lo fanno, l’unica difesa è un meta tag che Google possa effettivamente leggere.

L’indicizzazione accidentale di contenuti privati non è una fatalità: è l’effetto prevedibile di una configurazione che ignora la differenza tra scansione e indicizzazione. Rivedere oggi stesso come gestite i contenuti sensibili e i tag noindex non è un’opzione tra le tante — è l’unica modifica che conta, ed è quella da fare prima che qualcuno digiti site:iltuodominio.com e trovi quello che non dovrebbe mai vedere.