La raccomandazione era nelle linee guida dal 2007, ma la rimozione non cancella il rischio tecnico per i siti

Lo scorso 30 luglio, l’episodio del podcast Search Off the Record dedicato alle pagine di ricerca interne ha ribadito un punto che i SEO conoscono da anni: quelle URL possono trasformarsi in spazi di crawl infiniti, capaci di intrappolare Googlebot e sprecare il crawl budget. Martin Splitt e John Mueller hanno spiegato come questi spazi, lasciati aperti, aumentano anche il carico sul database del sito. Il giorno successivo, Google ha rimosso dalle proprie linee guida Search Essentials l’istruzione di bloccare le pagine dei risultati di ricerca interni. Un cambio di documentazione arrivato meno di 24 ore dopo che due ingegneri di Google avevano descritto lo stesso problema con toni da alert tecnico.

Google cancella la regola, poi la rispolvera in podcast

La raccomandazione non era un dettaglio recente: l’istruzione di bloccare le pagine dei risultati di ricerca interni risale alle prime linee guida per webmaster di Google, aggiunte intorno al 2007. Per anni è stata una delle prime mosse insegnate a chi si occupa di SEO tecnica. La rimozione dalla documentazione ufficiale, avvenuta lo scorso 31 luglio, poteva essere letta come un segnale che il problema fosse ormai gestito dagli algoritmi. Ma l’episodio del podcast registrato un giorno prima dice il contrario: il rischio è ancora lì, solo non è più scritto nella guida.

La domanda che resta aperta è semplice: se Google non lo scrive più, il problema è davvero sparito? I fatti tecnici suggeriscono di no, e il motivo ha poco a che fare con la pulizia della documentazione.

Il rischio che nessuno vede: crawl infiniti e spam massivo

Le pagine di ricerca interne non bloccate generano uno spazio di URL praticamente illimitato. Ogni parametro di query — un filtro, un ordinamento, una combinazione di termini — può produrre una variante diversa della stessa pagina. Googlebot può finire in questi spazi infiniti, consumando crawl budget che il sito dovrebbe destinare alle pagine che generano traffico e conversioni. Il carico sul database cresce di pari passo, perché ogni scansione di una URL di ricerca richiede interrogazioni al backend.

Ma il danno non è solo tecnico. Come riportato da Search Engine Journal, le pagine di ricerca indicizzabili possono essere sfruttate da spammer per creare milioni di pagine spam. Quando Google rileva questo schema, può segnalare il sito come hackerato direttamente in Search Console — una notifica che molti webmaster scoprono solo dopo aver visto crollare la visibilità organica. Non serve essere davvero compromessi: basta una pagina di ricerca lasciata indicizzabile e un attaccante che ne abusa.

Affidarsi ai sistemi automatici di Google per riconoscere e de-prioritizzare gli spazi infiniti è, secondo l’episodio del podcast, lento e inaffidabile. La configurazione manuale proattiva resta la strada più sicura. In pratica: se aspetti che Google capisca da solo, hai già perso settimane di crawl budget.

Lunedì mattina: una riga nel robots.txt

La soluzione è una riga nel file robots.txt. Il consiglio pratico emerso nell’episodio: usare una regola ampia con wildcard, come /search?, per coprire tutti i parametri di query senza trasformare il file in un elenco infinito. Così si blocca la scansione delle URL di ricerca mantenendo il file pulito e gestibile.

Due gli errori da evitare. Il primo è servire un errore 500 per fermare i bot sulle URL di ricerca: il risultato è ridurre il tasso di crawl di Googlebot sull’intero sito, non solo sulle pagine problematiche. Il secondo è usare lo strumento di rimozione di Google Search Console: filtra i risultati solo temporaneamente, ma non impedisce a Googlebot di continuare a martellare il server. E se usi WordPress con Yoast SEO, il plugin disabilita l’indicizzazione delle pagine di ricerca interna per impostazione predefinita: una rete di sicurezza, ma non un motivo per saltare la verifica manuale.

La prossima modifica alle linee guida andrà verificata sul server, non solo letta nella documentazione. La documentazione cambia, il crawl budget no: per i risultati di ricerca interni, una riga nel robots.txt vale più di qualsiasi annuncio.