Cache CDN fredda: la protezione bot indiscriminata respinge i crawler e i prodotti escono da Shopping.

Hai appena spostato il sito dietro una CDN. Le cache edge sono vuote, il server di origine riceve un’ondata di richieste crawler. Qualcuno accende la protezione bot “per sicurezza”. Il giorno dopo, i prodotti non ci sono più su Google Shopping. Google lo ha documentato ieri, sul Google Search Central Blog: quando un sito viene spostato dietro una CDN, il traffico dei crawler verso il server di origine può aumentare quasi immediatamente perché le cache edge sono ancora vuote.

Il paradosso del bot che vuoi lasciar passare

La meccanica è semplice e spietata. Su una cache CDN fredda, la prima richiesta per ogni URL univoco è un cache miss che passa direttamente al server di origine: ogni pagina del catalogo diventa una richiesta aggiuntiva che bussa alla porta dell’origine nello stesso arco di tempo. L’infrastruttura di crawling di Google non è progettata per affondarti: quando i tempi di risposta del server aumentano, i crawler rallentano per non sovraccaricare il server e per evitare di degradare l’esperienza utente del sito.

Ma il paradosso si materializza nel momento in cui, nella dashboard della CDN, si attiva una protezione bot indiscriminata. Se le regole di protezione bot o WAF bloccano i crawler con sfide CAPTCHA, i crawler di Google si ritirano e le pagine, insieme alle schede prodotto, cominciano a uscire dai risultati di ricerca. Il bot che volevi fermare era proprio quello che ti serviva: è il canale che indicizza i prodotti, alimenta le schede e porta traffico qualificato senza costi di media.

Qui però il danno non si ferma alla SEO organica: tocca direttamente il budget pubblicitario.

Quando i prodotti spariscono da Shopping (e gli annunci si rompono)

Per chi gestisce campagne, il punto non è la visibilità organica: è il ritorno sulla spesa pubblicitaria, il ROAS. Attivare una protezione bot indiscriminata nella dashboard CDN può bloccare i crawler di Google e, secondo il video di Google, far sparire i prodotti da Google Shopping, compromettendo anche i prodotti pubblicitari. Tradotto in termini operativi: se il crawler non passa, il prodotto non viene indicizzato; se il prodotto non è indicizzato, la campagna Shopping non ha nulla da mostrare e l’annuncio smette di funzionare.

La sequenza è prevedibile. Una migrazione CDN può indurre gli amministratori ad abilitare una protezione bot indiscriminata, con l’effetto di danneggiare la SEO, rimuovere prodotti da Google Shopping e rompere i prodotti pubblicitari che dipendono dal crawling. Non è un’ipotesi: è la conseguenza diretta di una scelta fatta “per sicurezza” in un momento di stress operativo, quando il server va sotto carico e qualcuno deve prendere una decisione in fretta.

Lo conferma anche la documentazione di Cloudflare, che spiega come le richieste dei crawler dei motori di ricerca, quando passano attraverso il proxy di Cloudflare, possano essere bloccate dai moduli anti-bot installati sul server di origine. Il punto è che il blocco non distingue tra bot malevoli e Googlebot: per il modulo anti-bot, è tutto traffico automatizzato da fermare. E in mezzo finisce il traffico che paga.

Ridurre il carico senza uscire dall’indice

Se il problema è il carico sul server, la risposta non è bloccare i crawler, ma segnalare temporaneamente che non puoi gestirli. Per ridurre urgentemente la frequenza di scansione per un breve periodo, i siti possono restituire codici di stato HTTP 500, 503 o 429 invece di 200 alle richieste di scansione. Il messaggio è chiaro: “adesso non posso, riprova più tardi” — non “non devi più passare”.

Questa è la leva che separa un’interruzione temporanea da un danno permanente. Ogni sito parte con lo stesso limite di capacità di scansione predefinito e conservativo: un margine di sicurezza pensato per evitare sovraccarichi. Quando il server risponde in modo rapido e costante, e c’è domanda di crawling, il limite aumenta gradualmente. In altre parole: più collabori con il crawler, più lui aumenta il ritmo in modo sostenibile; se invece lo respingi con un CAPTCHA, si ritira e il danno lo paghi due volte, in organico e in paid.

La prossima migrazione CDN va pianificata sapendo che il crawler di Google non è un nemico: va gestito, non respinto.

Prima di attivare una protezione bot dopo una migrazione CDN, chiediti se stai bloccando il traffico che paga: Googlebot non è un bot qualsiasi, è il canale che porta i prodotti su Google Shopping e alimenta gli annunci. Riduci il carico con i codici di stato, non con le sfide CAPTCHA. Il costo di un blocco indiscriminato non si misura in richieste risparmiate,
ma in schede prodotto sparite e campagne che smettono di funzionare.