Google ha falsato i tuoi test A/B

Lo smoothing indotto dall’indicizzazione di Google falsa le metriche di conversione come il weight decay nei modelli diffusivi

Non c’è niente di più frustrante che vedere un test A/B raggiungere il 99% di significatività dopo tre mesi, rilasciare il vincitore su tutto il traffico e osservare nei trenta giorni successivi il tasso di conversione tornare esattamente dov’era prima. L’errore non è nel campione, né nella MDE calcolata male. L’errore è nel modo in cui Google ha indicizzato le varianti mentre il test era ancora in corso, mescolando le pagine e producendo un effetto smoothing che ha falsato le metriche.

I dati parlano chiaro se li guardiamo attraverso una lente diversa: quella dello smoothing statistico che i ricercatori di Google applicano ai modelli di diffusione. Nel deep learning, il weight decay regolarizza la funzione score e la costringe a un comportamento liscio, creando una zona di interpolazione dove il modello genera punti intermedi piuttosto che campioni netti. Non è diverso da ciò che accade quando, durante un test A/B prolungato, Googlebot accede in modo intermittente a due versioni della stessa URL.

Perché la regolarizzazione creativa dei modelli diffusivi è l’analogo perfetto della tua variante inquinata

Un recente contributo sulla demistificazione della creatività nei modelli di diffusione mostra che lo score smoothing indotto dalla regolarizzazione non è un fenomeno confinato al laboratorio. Più forte è il weight decay applicato al modello, più liscia diventa la funzione score appresa, generando una zona di interpolazione tra dati distinti. Lo stesso effetto, ha dimostrato il team di ricerca, può emergere da regolarizzazione implicita in reti neurali addestrate con discesa del gradiente.

Se spostiamo questo schema al CRO on-page, il meccanismo diventa inquietante. Quando un test A/B si trascina per settimane, l’indicizzazione anticipata della variante vincente è solo la superficie. John Mueller ha spiegato che se le pagine sono abbastanza simili, Google ne indicizza una o l’altra. Il risultato non è un wait-and-see pulito: è un rimescolamento continuo che spiana le differenze reali di conversione, proprio come lo smoothing nei modelli diffusivi fonde i punti di training. I dati che raccogli non esprimono la preferenza degli utenti tra A e B; esprimono la risposta a una media mobile di Google, un’interpolazione tra A e B che Google stesso ha già scelto di consolidare.

Quando il test A/B diventa una trappola di interpolazione

Il pericolo è duplice: non solo le metriche sono inquinate, ma Google avverte chiaramente che test eccessivamente lunghi possono essere interpretati come tentativi di ingannare il motore di ricerca. Nella stessa pagina, la guida ufficiale sui test A/B segnala che se un esperimento si protrae senza necessità, il sito rischia azioni manuali. La risposta di Mueller è arrivata dopo la domanda su Bluesky sugli holdout prolungati, che chiedeva come Google gestisca test con milioni di pagine e durate di 6-12 mesi. La risposta di John Mueller sulle differenze significative nell’indicizzazione non lascia spazio a interpretazioni rassicuranti: “Se sono significativamente diverse, potrebbe diventare visibile anche nei risultati di ricerca”, ha detto. E ha aggiunto che l’avvertimento sul debug di contenuti variabili rende tutto più difficile da monitorare.

Misurare la share of voice nell’AI: l’unico test che resta in piedi

Mentre sei lì a inseguire l’ennesimo miglioramento del +0,3% sul CTA color corallo, il vero effetto smoothing si è già trasferito altrove. I modelli linguistici che alimentano le risposte generate non sono stabili: un’indagine su 30 domande ripetute ha mostrato che tre test non hanno raggiunto convergenza neppure dopo 125 interrogazioni, tutte condotte su SearchGPT. La ricerca pubblicata su i ranking di visibilità AI li descrive come per lo più rumore statistico.

Se nemmeno i modelli generativi concordano con se stessi, ottimizzare la singola pagina per una keyword statica assomiglia sempre più a un esercizio di calligrafia sul Titanic.

Se l’indicizzazione classica inquina i test e l’AI generativa produce ranking instabili, ottimizzare diventa un problema di share of voice. Qui entra in gioco la necessità di strumenti che misurino quanto il brand venga citato nelle risposte di ChatGPT, Google AI Overviews, AI Mode e Gemini. Letaido per l’AEO è uno dei primi a promettere una misurazione reale, non stimata. Automatizza il monitoraggio della presenza su queste piattaforme, spostando il test dall’on-page alla risposta generata. Forse è venuto il momento di accettare che la regola di decisione non è più “quale variante converte meglio nell’ambiente falsato da Google”, ma “quale variante finisce più spesso nella risposta dell’AI”. Perché in un ecosistema dove l’indicizzazione anticipata della variante vincente e lo score smoothing dei modelli diffusivi convergono, l’ottimizzazione on-page tradizionale è già un’interpolazione di secondo ordine.

Resta una domanda che nessun white paper di Google ha mai affrontato: se l’interpolazione delle varianti durante un test A/B prolungato crea un vincitore che è solo la media di A e B nello spazio latente di Google, ha ancora senso parlare di ottimizzazione delle conversioni on-page? O il nuovo CRO è la capacità di forzare la generazione AI a citare la variante B abbastanza spesso da farla diventare, di fatto, la risposta di default?