Le pagine generate dalle ricerche interne possono diventare una trappola per Googlebot e un rischio per la sicurezza del sito
Quanto vale per te ogni singola pagina indicizzata da Google? Se gestisci campagne performance, sai che ogni centesimo speso male è un margine che si assottiglia. Lo stesso principio si applica al crawl budget: la quantità di URL che Googlebot scansiona ogni giorno sul tuo dominio. E se ti dicessi che decine di migliaia di pagine generate dal motore di ricerca interno del tuo sito stanno risucchiando quel budget senza portare un solo clic di valore? Nell’ultimo episodio del podcast Search Off the Record, Martin Splitt e John Mueller hanno smontato il problema e indicato una soluzione sorprendentemente semplice, che ogni team marketing può attuare in pochi minuti.
Il buco nero del crawl budget
Un sito con una barra di ricerca interna può trasformarsi in una trappola per i crawler. Come ha spiegato Martin Splitt, ripreso da Search Engine Journal, «possiamo generare pagine su pagine… forse aggiungiamo anche link “did you mean” che creano altre pagine in cui il crawler affonda». Il risultato è uno spazio di scansione virtualmente infinito, dove Googlebot spreca risorse a inseguire URL dinamici senza alcun valore SEO. Nel frattempo, le pagine che generano davvero conversioni – schede prodotto, landing page, articoli strategici – vengono scansite meno frequentemente o del tutto ignorate.
La questione non è solo di efficienza. Le pagine di ricerca indicizzabili rappresentano una minaccia di sicurezza concreta. Attori malevoli le sfruttano cercando query come “pharmacie online” o “casinò gratis” per visualizzare contenuti spam sotto il tuo dominio, agganciandosi all’autorità del sito e piazzando numeri di telefono fraudolenti nell’indice di Google. Quando questo accade, Search Console può segnalare il sito come “hacked”, con un danno reputazionale e di ranking difficile da riparare. Ma cosa dice Google esattamente? E perché non basta usare gli strumenti che hai già?
La bacchetta magica (che non avevi mai usato)
La prima tentazione di molti team tecnici è forzare un codice di errore 500 sulle URL di ricerca per scoraggiare il bot. Errore. Nell’episodio del 30 luglio, Splitt e Mueller sono stati chiari: servire troppi errori 500 fa scattare in Googlebot un segnale di server inaffidabile, che riduce il crawl rate sull’intero dominio. Significa penalizzare anche le pagine prodotto o le nuove campagne che dovrebbero essere scoperte velocemente. Peggio ancora, usare lo strumento di rimozione URL di Google Search Console è un palliativo: filtra solo temporaneamente gli URL dalla SERP, ma non impedisce a Googlebot di continuare a martellare il server con richieste inutili.
La strada giusta, ribadita nell’episodio, è una singola regola Disallow con wildcard nel file robots.txt. La documentazione ufficiale di Google per i webmaster consiglia da anni di bloccare gli URL dinamici che generano risultati di ricerca, e Yandex offre un esempio pratico: Disallow: *?s=. Bastano pochi caratteri – come /search? – per coprire ogni variante di query e parametro, mantenendo il file pulito e manutenibile. Già nel 2015 John Mueller, citato da Search Engine Roundtable, aveva osservato che molte pagine di tag sono essenzialmente pagine di risultati di ricerca e «probabilmente non dovrebbero essere indicizzate», mentre solo quelle che funzionano da vere categorie meritano una chance. La stessa logica si applica alla navigazione sfaccettata basata su parametri, che secondo la guida di Google sul crawling può generare spazi URL infiniti e overcrawling: anche in quel caso il robots.txt è il primo argine.
Con una regola wildcard si mette in sicurezza il crawl budget e si previene il rischio spam senza toccare codice lato server, evitando così gli effetti collaterali di soluzioni improvvisate.
Piano d’azione per il team
Fare il fix è più veloce di quanto pensi. Tre passaggi. Primo, aggiungi nel file robots.txt una regola del tipo Disallow: /search? adattandola alla struttura delle tue URL (per esempio Disallow: /*?q= se il parametro è diverso). Se usi WordPress o altri CMS con path predefiniti, verifica il pattern esatto ma non complicare: una wildcard ampia copre tutto. Secondo, non servire errori 500 o 403 per scoraggiare i bot: rischi di rallentare la scansione dell’intero sito e compromettere il posizionamento delle pagine che contano. Terzo, dimentica il Removal Tool di Search Console per questo scopo: non ferma le richieste, si limita a nascondere temporaneamente gli URL già noti a Google.
La prossima volta che un cliente o un product manager ti chiede se puoi indicizzare le pagine di ricerca interna, hai la risposta pronta: no. E hai anche il pezzo di codice per fermare il problema prima che nasca.
