Le nuove regole Cloudflare bloccano training e agenti AI solo sulle pagine con pubblicità, lasciando invariato il traffico di ricerca

Un anno fa era un semplice toggle. Lo scorso luglio Cloudflare ha ridisegnato il controllo sui bot AI con una tassonomia a tre fasce – Search, Agent, Training – e BotBase, un database che traccia l’intero ecosistema. A settembre, i default per i nuovi domini cambieranno: sulle pagine che mostrano annunci, le categorie Training e Agent saranno bloccate in partenza. Per chi pianifica campagne pubblicitarie, la scelta non è più binaria: è una decisione che impatta traffico, visibilità organica e costi di acquisizione.

Le implicazioni vanno oltre il perimetro tecnico. Se gestisci budget a performance, devi chiederti: stai proteggendo le pagine con annunci dal training indiscriminato, oppure stai rischiando di sparire dalle risposte generate dall’intelligenza artificiale? E quanto costa, in termini di costo per clic o CPA, questa scelta?

Non è più solo un toggle

Già nel luglio 2025 Cloudflare aveva introdotto un’opzione per bloccare con un click tutti i bot AI e un marketplace pay-per-crawl per monetizzare lo scraping. In parallelo, come riportò all’epoca TechCrunch, i nuovi domini configurati con la piattaforma bloccavano di default qualsiasi crawler AI. Oggi il panorama è stratificato.

La nuova classificazione separa tre comportamenti distinti. Search è il bot che indicizza contenuti per rispondere a domande in un secondo momento, con l’aspettativa di generare traffico di referral. Agent copre le azioni automatizzate eseguite per conto di un utente in tempo reale – ad esempio i bot di chat fetch come ChatGPT-User o gli agenti che pilotano Chrome. Training identifica i crawler che assorbono definitivamente i contenuti per addestrare o affinare modelli di intelligenza artificiale.

Il cambiamento vero arriva il 15 settembre: come si legge nel comunicato stampa ufficiale, per tutti i nuovi domini le categorie Training e Agent saranno bloccate di default sulle sole pagine che contengono annunci, mentre Search resterà permessa. Nel frattempo Cloudflare ha messo a disposizione BotBase, un archivio pubblico di bot noti per i clienti Enterprise Bot Management, e ha esteso Content Signals con un nuovo campo use nei file robots.txt, che permette di esprimere preferenze con valori come immediate, reference o full.

Il toolkit si è evoluto, ma la domanda resta: quanto traffico si muove davvero sotto i radar di questi bot? Per capire chi rischia di perdere di più, servono i numeri.

Chi perde davvero (e chi no)

I numeri raccontano una verità scomoda. Secondo i dati di Cloudflare citati da Wired a fine 2025, Google vede 3,2 volte più pagine rispetto a OpenAI, 4,6 volte più di Microsoft e 4,8 volte più di Anthropic o Meta. Significa che il motore di Google è già il crawler dominante. Una policy che lascia passare Search – dove rientra Googlebot – ma sbarra la strada a Training e Agent rischia di rafforzare ulteriormente quella posizione.

Per un publisher che monetizza con gli annunci, il pensiero è immediato: bloccare Training e Agent sulle pagine con inserzioni protegge i contenuti dall’addestramento di modelli terzi, ma può impedire che quegli stessi contenuti vengano recuperati in tempo reale da un agente che risponde a una domanda di un utente. Il risultato? Meno visibilità nei motori di ricerca potenziati dall’intelligenza artificiale, meno traffico organico e, potenzialmente, un CPA più alto sulle keyword di brand perché il traffico gratuito si riduce.

C’è un fattore di incertezza in più: la classificazione dei bot dipende dall’autodichiarazione delle aziende. Come segnala AI News, Cloudflare non spiega quali meccanismi impediscano errori o abusi. In teoria, un crawler di training potrebbe dichiararsi Search e passare indisturbato, oppure un agente legittimo rischia di essere bloccato per errore. Per chi investe in campagne che puntano a pagine con annunci, l’incertezza si traduce in un rischio di visibilità difficilmente calcolabile.

A maggio, durante il Google I/O, Google ha annunciato la prossima fase del suo percorso per unire il meglio di un motore di ricerca con l’intelligenza artificiale. Un’evoluzione che renderà ancora più critico comparire nelle risposte generate: se le tue landing page con annunci sono oscurate ai bot di training o agent, potresti ritrovarti fuori dalle sintesi che Google mostrerà in cima alla SERP. E lì, l’unica alternativa per ottenere clic diventa la ricerca a pagamento. Cloudflare stessa, nel frattempo, ha ribadito il principio che ogni bot AI dovrebbe dichiarare un unico scopo distinto, ma il mercato è ancora in costruzione.

E allora, cosa fare sulle pagine che monetizzi con gli annunci?

Cosa fare (prima del 15 settembre)

Con i nuovi default che scatteranno tra poche settimane, il tempo per decidere è adesso. La prima mossa è verificare le impostazioni attuali dei bot: i domini già attivi su Cloudflare non saranno modificati automaticamente, ma potresti voler estendere manualmente il blocco Training e Agent alle pagine con annunci per allinearti ai futuri default.

Sfrutta Content Signals e il nuovo campo use. Cloudflare sta testando un segnale in robots.txt che consente di specificare se il contenuto può essere usato per un’azione immediata (immediate), per referenza (reference) o in modo completo (full). È un livello di controllo più fine, che può guidare i comportamenti dei bot che rispettano lo standard.

Infine, coordina chi gestisce il dominio con chi compra media. Se sei un media buyer che spende su campagne search, chiedi al team tecnico se le landing page con annunci sono soggette a blocchi. Un calo di traffico organico dalle AI overview potrebbe aumentare la pressione sulle keyword a pagamento e far salire il CPA. Prevedere questo scenario ti permette di aggiustare le strategie di offerta prima che l’impatto si concretizzi.

Nessuno ha ancora una risposta definitiva sul punto di equilibrio tra protezione e visibilità. Il blocco di Training e Agent sulle pagine con annunci riduce il rischio che i contenuti vengano assorbiti da modelli altrui senza compenso, ma può costare caro in traffico qualificato. Lasciare tutto aperto, al contrario, espone al crawling indiscriminato ma mantiene le porte spalancate per qualsiasi AI search. La scelta è una scommessa sul futuro della ricerca.

La domanda non è più se bloccare i bot, ma quali, e su quali pagine. E chi pianifica campagne deve cominciare a pensarci ora, prima che i nuovi default decidano per lui.