Google leggerà l’opt-out dal training anche senza Google-Extended

Il token condiviso proposto dall’IETF non introduce nuove direttive ma cambia il modo in cui Google interpreta l’opt-out dal training

Chi gestisce il robots.txt di un sito editoriale conosce bene la trafila. Per dire no all’uso dei propri contenuti nell’addestramento dei modelli di Google finora bisognava sapere che esiste Google-Extended e scriverlo esplicitamente nel file. Ieri, 30 ottobre, la situazione ha iniziato a cambiare. Nel blog ufficiale di Google Search Central l’azienda ha annunciato che leggerà un opt-out generico dal training come se il publisher avesse disabilitato proprio Google-Extended, anche se quel nome nel file non compare. È una piccola modifica di sintassi con una conseguenza concreta: il robots.txt smette di essere un elenco di user-agent da inseguire uno alla volta e diventa una dichiarazione di preferenza valida per più fornitori di intelligenza artificiale. Resta però una scelta che nessuno standard può fare al posto del SEO: separare l’addestramento dalla visibilità.

Un token per tutti: cosa cambia davvero nel robots.txt

Google parla di un controllo condiviso per l’addestramento AI da inserire nel robots.txt. Il meccanismo si basa su una proposta del gruppo AIPREF dell’Internet Engineering Task Force (IETF), l’organismo che definisce gli standard tecnici di Internet. Per chi deve metterci mano c’è un dettaglio rassicurante: secondo l’Internet-Draft, la bozza di standard, il meccanismo non introduce nuovi nomi di direttive né una nuova grammatica. Si lavora quindi dentro la sintassi del robots.txt che già si conosce.

Il cuore dell’annuncio è la regola di interpretazione. Se un sito usa il nuovo token di policy per escludersi dal training e non specifica Google-Extended, Google intende trattarlo come un disallow di Google-Extended, cioè del controllo per l’addestramento AI che offre dal 2023. In pratica il token generico avrebbe lo stesso effetto della direttiva proprietaria. Se invece Google-Extended è indicato in modo esplicito, vale quanto scritto. I tempi però non sono brevi: Google punta a supportare il nuovo controllo insieme ad altri fornitori di AI nel 2027 e promette aggiornamenti sui progressi. Oggi, quindi, Google-Extended resta la leva da usare.

Chi era già arrivato prima (e chi ha scelto la via legale)

Il controllo condiviso di Google non nasce dal nulla, e una parte del settore ci era arrivata da tempo. Già nel 2023, come rivendica il blog di Bing, Microsoft era stata la prima a offrire agli editori controlli distinti per l’addestramento e per il grounding dell’AI, cioè l’uso dei contenuti per ancorare le risposte generate, attraverso i tag NoArchive e NoCache. Il lavoro di standardizzazione è più recente: il gruppo di lavoro AIPREF dell’IETF è stato costituito all’inizio del 2025. Nel frattempo Cloudflare ha sostituito la funzione Managed Robots.txt con Bot Preference Sync, che permette di impostare le preferenze di scansione una sola volta e le applica in automatico a tutti i crawler supportati. Altri editori hanno lasciato perdere i file di configurazione. Il New York Times, per esempio, ha bloccato Google sul piano legale, aggiornando i propri termini di servizio per vietare l’uso dei contenuti nell’addestramento AI. Avere un interruttore unico è comodo. Resta da capire se convenga davvero usarlo senza distinguere tra i diversi usi.

17% contro 1%: dove passa il confine tra proteggersi e sparire

I numeri dicono che i publisher una scelta selettiva la fanno già. Secondo i dati diffusi da Cloudflare, meno dell’1% dei proprietari di siti blocca i crawler di ricerca, mentre il 17% limita l’addestramento AI. Il segnale è chiaro: quasi nessuno vuole rinunciare all’indicizzazione, mentre una quota consistente non vuole che i propri contenuti finiscano nei dataset di training. Il token condiviso va proprio in questa direzione, perché rende più semplice esprimere il secondo rifiuto senza toccare il primo.

Il rischio sta nel confine tra training e grounding. Microsoft lo dice senza giri di parole: i siti che disabilitano il grounding subiscono una «ridotta visibilità del marchio». Detto in termini di traffico organico, escludersi dall’addestramento dei modelli è una scelta di tutela dei contenuti. Escludersi dal grounding significa invece rinunciare a comparire, e quindi a essere citati, nelle risposte generate dai sistemi AI. Sono due decisioni diverse con conseguenze diverse. Chi le confonde in un’unica regola rischia di pagare la protezione con la visibilità.

Sul piano operativo il lavoro si può fare già adesso, senza aspettare il 2027. Il primo passo è un audit del robots.txt per capire quali direttive riguardano l’addestramento e quali, magari per stratificazioni successive o regole copiate da qualche template, finiscono per colpire anche il grounding o i crawler di ricerca. Il secondo è decidere, insieme a chi ha la responsabilità editoriale e legale, se e dove serve un opt-out dal training. Se la risposta è sì, oggi va espresso con Google-Extended e con i controlli specifici degli altri fornitori. Il terzo è tenere il file pronto ad accogliere il token condiviso quando lo standard diventerà operativo, senza modificare l’accesso dei crawler di ricerca. Il punto non è bloccare o non bloccare, ma sapere esattamente che cosa si sta bloccando.

Il token AIPREF semplificherà la manutenzione del robots.txt e ridurrà la rincorsa ai nuovi user-agent. Non sceglierà però al posto di chi lavora sulla SEO. La distinzione tra addestramento e visibilità resta una decisione da prendere caso per caso, ed è meglio prenderla adesso, con un audit fatto con calma, che scoprirla dopo dal calo delle citazioni nelle risposte AI.