La separazione tra crawling e indicizzazione sposta il punto di controllo dai log alla copertura nell’indice
Un crawler che scarica senza capire: Googlebot non analizza i JSON, li prende e basta. Sembra un dettaglio da backend, ma per chi lavora su JavaScript e contenuti dinamici è il punto esatto in cui le ipotesi di indicizzazione iniziano a scricchiolare. Per chi fa test su pagine che dipendono dal rendering JavaScript — carrelli, filtri prodotto, contenuti caricati via fetch — la domanda non è più se Googlebot visita l’URL, ma se e quando il contenuto viene analizzato. Ieri, in un post su Bluesky, Gary Illyes di Google ha scritto una frase che smonta un’assunzione diffusa: «Google’s crawlers don’t parse JSON, they just download things». Tradotto: i crawler di Google non analizzano i JSON, si limitano a scaricare i contenuti.
Il paradosso: Googlebot scarica i JSON ma non li legge
Per anni, una parte della community SEO ha dato per scontato che il passaggio di Googlebot su un URL equivalesse a una forma di comprensione del contenuto. La precisazione di Illyes ribalta questa idea: il crawler non interpreta ciò che scarica, lo preleva e basta. La distinzione non è semantica. Un crawler che «capisce» ciò che incontra è un agente intelligente; un crawler che si limita a trasportare dati è un componente di pipeline, nient’altro. E la differenza determina dove si verificano gli errori: non nel download, ma nella fase in cui i dati vengono finalmente letti.
Lo stesso Illyes aggiunge che «Parsing anything is done by, for example, indexing in case of Search»: l’analisi di qualunque contenuto è compito di altri componenti, come l’indicizzazione nel caso della Ricerca. In altre parole, il parser non sta nel crawler. Sta più a valle. E se il crawler non analizza, chi lo fa? La risposta sta in una fase successiva del processo — e questa separazione ha implicazioni che vale la pena esaminare da vicino.
Dal download all’indicizzazione: il rendering arriva dopo
La precisazione di Illyes apre una domanda: se Googlebot si limita a scaricare, quando avviene l’analisi? La documentazione ufficiale di Google sulla SEO JavaScript fornisce il meccanismo mancante. Una volta che le risorse di Google lo consentono, un headless Chromium esegue il rendering della pagina e il JavaScript dopo la fase di crawling. Per i contenuti generati da JavaScript il processo è quindi a due tempi: prima il download grezzo, poi l’esecuzione vera e propria.
Il passaggio successivo è l’indicizzazione. Sempre secondo la documentazione ufficiale, Google utilizza l’HTML renderizzato per indicizzare la pagina: il rendering diventa la condizione necessaria perché ciò che è stato scaricato venga anche analizzato. Per chi lavora con contenuti dinamici questo significa una cosa precisa: l’analisi avviene al momento dell’indicizzazione, non durante il crawling. Il JSON scaricato da Googlebot è materiale grezzo; solo dopo il rendering qualcuno lo interpreta davvero.
La separazione tra crawling e analisi ha una conseguenza pratica che non va sottovalutata. Se Googlebot scarica ma non analizza, i log del server mostrano solo il prelievo, mai la comprensione. Il ritardo tra download e indicizzazione diventa la variabile da monitorare: una pagina può essere scaricata con successo e restare in attesa del rendering per un periodo che non dipende da te. Per chi gestisce e-commerce con filtri dinamici, cataloghi JSON o contenuti caricati via JavaScript, le anomalie vanno cercate nell’indicizzazione — tramite URL Inspection in Search Console o i report sulla copertura — non nei log del crawler. Per questo, quando analizzi un sito che genera contenuti via JavaScript, il dato da incrociare non è il numero di richieste a successo nei log, ma la quota di URL che completano il percorso fino all’indice.
E Bing? Il JavaScript resta il collo di bottiglia condiviso
Il quadro si completa guardando agli altri motori. La documentazione di Bing sul JavaScript ammette che è difficile per bingbot processare JavaScript su larga scala su ogni pagina di ogni sito. Se anche Bingbot fatica con JavaScript su larga scala, il problema non è di un solo vendor: è strutturale. Resta da chiedersi: quanti contenuti JSON o dinamici non superano davvero il passaggio dallo scaricamento all’analisi?
La prossima volta che guardi i log del crawler, non chiederti se Googlebot ha «capito» la pagina: chiediti se è arrivata alla fase in cui qualcuno la analizza davvero.
