L’infrastruttura tecnica è gestita da Cloudflare, che incassa i pagamenti dai crawler e li gira ai publisher

Il test: da HTTP 402 a Pay Per Crawl

Oltre un milione di clienti Cloudflare hanno scelto di bloccare i crawler AI con un solo clic. A prima vista, un successo. Ma se tutti bloccano, chi ci perde sono proprio gli editori: i contenuti scompaiono dagli indici che alimentano i modelli linguistici, e con essi potenziale traffico e valore. È il paradosso che Matthew Prince ha deciso di affrontare con un esperimento che ogni CRO riconoscerebbe: trattare ogni scansione come una micro-conversione e testare se il modello regge.

Lo scorso 1° luglio 2025, Cloudflare ha lanciato pay per crawl, una beta privata che consente ai creatori di contenuti di far pagare i bot AI per ogni scansione. L’infrastruttura tecnica è gestita da Cloudflare, che funge da Merchant of Record: incassa i pagamenti dai crawler e li gira ai publisher. Il principio è quello per cui il codice di stato HTTP 402 — Payment Required — era stato concepito fin dall’inizio: abilitare sistemi di pagamento digitale o micropagamenti, anche se è rimasto per decenni un codice non standard riservato per uso futuro. Ora quell’HTTP 402 trova una concretezza che nessuno aveva mai testato su scala.

La scelta di bloccare i crawler AI con un solo clic era stata introdotta da Cloudflare nel settembre 2024. Da allora, più di un milione di clienti l’hanno attivata. Il dato non è banale: parliamo di un campione enorme che ha espresso un’intenzione chiara — non voglio che i miei contenuti vengano usati per addestrare modelli senza compenso. Ma come ogni test che si rispetti, la domanda successiva è quella che conta: se oltre un milione di publisher hanno scelto il blocco, quanti saranno disposti ad attivare un sistema di pagamento che richiede fiducia, calibrazione e una value proposition che il mercato non ha ancora validato?

Il funnel nascosto degli editori

La risposta non è solo tecnica: è un problema di conversione nel funnel più trascurato del web, quello tra contenuto e AI. Il blocco indiscriminato dei crawler è un costo nascosto che pochi stanno misurando. Ogni scansione bloccata è potenzialmente un’impressione persa, un referral mancato, una citazione che non avverrà mai in un riepilogo generato da un modello. Non abbiamo ancora metriche standardizzate per quantificare questo danno, ma il principio è identico a un checkout interrotto: se non misuri l’abbandono, non sai quanto stai perdendo.

Roger Lynch, CEO di Condé Nast, ha definito l’approccio di Cloudflare un punto di svolta per gli editori. Ma la definizione arriva da chi ha un interesse diretto nel vedere i propri contenuti monetizzati. Per uno specialista CRO, la domanda è un’altra: questo pay per crawl è un upsell che aumenta l’ARPU o un paywall che riduce il volume? Il vero test non sarà sul numero di publisher che aderiscono — l’adesione è una metrica di vanità, come le iscrizioni a una newsletter. La metrica che conta è la risposta dei bot: acquisteranno tutti i contenuti o solo quelli che massimizzano il loro ROI? E se acquistano solo una frazione, quale frazione? Quella con maggiore densità informativa, quella più aggiornata, quella con dati strutturati? È un problema di segmentazione del traffico che ricorda la differenza tra traffico organico e a pagamento: non tutti i click hanno lo stesso valore.

Matthew Prince inquadra Pay Per Crawl come una questione esistenziale per l’open web. Non è un’esagerazione: se i contenuti di qualità spariscono dietro un paywall che i crawler non sono disposti a pagare, l’ecosistema delle AI si impoverisce. Se invece pagano, si crea un canale di monetizzazione nuovo, ma senza benchmark. Non abbiamo dati su conversion rate, elasticità della domanda o willingness to pay dei crawler. È un test in piena regola, con un campione ancora da definire e una MDE tutta da calcolare.

La variabile TollBit e cosa misurare dopo

E qui entra in gioco il competitore che potrebbe ridefinire le regole del mercato. TollBit, già dall’ottobre 2024, offre un marketplace che compete direttamente con Cloudflare Pay Per Crawl, permettendo agli editori di monitorare e monetizzare il traffico dei bot AI quando effettuano scraping su contenuti verificati. Due approcci diversi: Cloudflare integra il pagamento a livello di infrastruttura di rete, TollBit opera come marketplace. È presto per dire quale modello prevarrà, ma la variabile da tenere d’occhio non è il volume delle transazioni. La vera metrica sarà la qualità del traffico generato: i contenuti pagati porteranno visibilità reale o solo un micro-incasso che non compensa il costo opportunità del blocco?

Pay per crawl è un esperimento in corso. La domanda da porsi non è se funzioni tecnicamente — l’infrastruttura c’è, l’HTTP 402 esiste da trent’anni, il Merchant of Record è Cloudflare. La domanda è se trasforma il rapporto tra editori e AI in un canale di conversione misurabile. E per misurarlo, non bastano i click: serve testare la qualità del traffico che quei pagamenti generano, con lo stesso rigore con cui valuteresti un nuovo canale di acquisizione. Altrimenti è solo un’altra metrica di vanità.