Il pilot con OpenAI scopre nuove pagine via metadati Cloudflare, senza crawling tradizionale.
Chi fa SEO lo dà per scontato da anni: quando si parla di scoperta dei contenuti, Googlebot parte avvantaggiato. Lo confermano anche i numeri di chi osserva il traffico da una posizione privilegiata. Secondo Cloudflare, infatti, Googlebot vede una quota di Internet significativamente più ampia rispetto ai suoi concorrenti più vicini. La scorsa settimana però l’analisi pubblicata sul blog di Cloudflare ha messo sul tavolo un dato che incrina questa certezza. Il pilot di ricerca avviato con OpenAI ha permesso a quest’ultima di scoprire e indicizzare centinaia di milioni di nuove pagine web. Per farlo è bastato il coinvolgimento di circa l’1% della rete totale di Cloudflare. Non è una notizia dell’ultima ora, perché il progetto era partito già a luglio 2026. Il punto, però, è un altro: la scoperta delle pagine potrebbe non passare più solo dal crawling tradizionale.
Il crawler non è più l’unica porta d’ingresso
Per capire la portata del test bisogna partire da quel vantaggio. Il dato sulla maggiore copertura di Googlebot arriva da un’analisi di Cloudflare sulle policy dei crawler IA. Racconta un mercato in cui chi ha il crawler più esteso vede più web e quindi può indicizzare di più. I motori di ricerca basati sull’intelligenza artificiale arrivano tardi e con una copertura inferiore. Recuperare il ritardo con la sola scansione richiede tempo, infrastruttura e il permesso di chi gestisce i siti.
Il pilot prova a cambiare il problema alla radice. Come spiega il comunicato stampa con cui Cloudflare ha annunciato l’iniziativa, l’obiettivo è capire come i segnali dei siti partecipanti, raccolti sulla rete globale di Cloudflare, possano aiutare i motori di ricerca IA a scoprire e indicizzare in modo più efficace i contenuti rilevanti del web aperto. Il crawler resta in gioco, ma non è più l’unico modo per sapere che una pagina esiste. Restano allora due domande: che cosa passa esattamente da Cloudflare a OpenAI? E chi decide quali pagine finiscono davanti agli utenti?
Metadati, non contenuti: e il ranking resta a OpenAI
Conviene scomporre il flusso. Cloudflare fornisce i segnali. Secondo l’azienda, la ricerca usa metadati sul web per finalità di ricerca e scoperta e non condivide il contenuto delle pagine per l’addestramento dei modelli. Per chi gestisce un sito la distinzione pesa. Un conto è segnalare che un URL esiste ed è attivo, un altro è consegnarne il testo a chi addestra un modello linguistico. In questo test Cloudflare dichiara di fare solo la prima cosa.
Indicizzazione e classificazione sono invece compito di OpenAI. Una volta scoperte, le pagine vengono valutate in modo indipendente in base a quanto sono rilevanti e utili, e OpenAI decide come farle apparire. In pratica Cloudflare apre la porta, ma non decide chi si siede in prima fila. A questo si aggiunge un livello di sicurezza: Cloudflare sta testando segnali per identificare e segnalare pagine potenzialmente dannose. L’esempio è un singolo modulo di login falso ospitato su un sito altrimenti legittimo. Per l’azienda si tratta di un ulteriore strato di informazione a supporto di una scoperta più sicura e affidabile. È un dettaglio tecnico, ma conta: un sistema che scopre pagine attraverso la rete deve anche distinguere quelle che non vanno mostrate.
Qui però arriva il nodo che interessa a chi lavora sul traffico organico. Come ha fatto notare l’analisi di Search Engine Journal sul pilot, il resoconto non dice quante volte le nuove pagine siano state citate in ChatGPT né quante visite abbiano portato. OpenAI ha indicizzato centinaia di milioni di pagine nuove, ma nessuno ha dimostrato che quelle pagine abbiano ottenuto citazioni nelle risposte di ChatGPT o generato visite di referral, cioè il traffico che arriva al sito da un link esterno. Essere indicizzati non vuol dire essere citati, ed essere citati non vuol dire ricevere clic. Chi ha già visto crescere le impressioni in Search Console senza alcun effetto sulle sessioni sa bene quanto sia distante una cosa dall’altra.
Bloccare, consentire o far pagare: la scelta torna al sito
Se la scoperta passa dalla rete, le impostazioni sui crawler IA smettono di essere una questione solo di sicurezza o di consumo di banda. Cloudflare l’ha detto in modo esplicito presentando il modello Pay Per Crawl: l’accesso dei crawler IA è qualcosa che i proprietari dei contenuti devono poter controllare, con tre opzioni possibili. Bloccare, consentire o far pagare.
Il pilot aggiunge una variabile a questa scelta. Chi blocca protegge i contenuti, ma rischia di restare fuori dai sistemi che oggi costruiscono l’indice delle risposte generate dall’IA. Chi consente guadagna potenziale visibilità, senza però alcuna garanzia di ritorno misurabile. Chi fa pagare monetizza l’accesso, ma deve mettere in conto che un costo può scoraggiare la scansione. Nessuna delle tre opzioni è sbagliata in assoluto. Ognuna però ha un prezzo, e oggi quel prezzo va stimato senza dati pubblici su citazioni e referral. Come si decide quanto vale la visibilità in ChatGPT, se nessuno ha ancora mostrato quante visite porta?
Da domattina, allora, conviene smettere di inseguire l’indicizzazione in ChatGPT come se fosse un posizionamento da conquistare. Il primo passo è rivedere le impostazioni di accesso dei crawler IA e trattarle come una scelta consapevole tra bloccare, consentire e far pagare, legata agli obiettivi del sito e non a un default lasciato attivo. Il secondo è misurare in proprio citazioni e traffico di referral da ChatGPT, con segmenti dedicati in analytics e verifiche periodiche sulle risposte. Ad oggi nessuno, nemmeno chi ha annunciato il pilot, ha dimostrato che essere scoperti porti visite.
