Il 77% dei test A/B a due varianti spreca tempo e risorse per mancanza di potenza statistica

Una campagna Performance Max genera 4.000 clic e 37 acquisti, ma la piattaforma pubblicitaria riporta un tasso di conversione del 62%. Il dato è impossibile – a meno di non aver confuso la metrica giusta. Come spiega l’analisi su Search Engine Journal, il problema è nella sovrapposizione tra conversioni primarie e secondarie: il 62% nasce da eventi post‑click che non misurano l’acquisto reale. È un campanello d’allarme per chiunque usi test A/B per ottimizzare le conversioni.

Il 77% degli esperimenti è tempo perso

Il 77% degli esperimenti sono semplici test A/B a due varianti. La fonte di questa statistica è Optimizely. Ed è proprio qui che emerge il problema: l’insufficiente traffico dei brand e‑commerce impedisce di ottenere risultati statisticamente significativi. Per rilevare un miglioramento dell’1% o del 2% servono centinaia di migliaia di visitatori per variante. Senza quella potenza statistica si moltiplicano falsi positivi e falsi negativi e team che implementano risultati inconcludenti. Inoltre, i test A/B hanno: mostrano cosa è successo, ma non spiegano perché.

Per analogia, l’articolo cita la distorsione da sopravvivenza degli aerei della Seconda Guerra Mondiale: i fori di proiettile sugli aerei di ritorno non indicano le zone critiche, perché gli aerei colpiti al motore non tornano. L’osservazione di Abraham Wald è la metafora perfetta per chi si limita ai dati di conversione visibili.

L’attivazione post‑acquisto: dove nasce la crescita reale

Heights ha testato una linea di copy che consigliava di assumere l’integratore per almeno tre mesi. Il test di copy di Heights ha aiutato ad aumentare la durata degli abbonamenti nel tempo. dimostra che la vera leva non è il primo acquisto, ma l’attivazione dell’utente. Butternut Box condivide l’esperienza post‑acquisto di altri clienti sul proprio sito web tramite statistiche. Le statistiche post‑acquisto di Butternut Box creano fiducia e spingono a rimanere abbonati. Dyson Airwrap ha un’app per guidare gli utenti nello styling: trasforma l’acquisto in un’esperienza continuativa.

Non si tratta di ottimizzare il pulsante “Acquista”, ma di progettare il percorso post‑vendita.

E ora? Cosa misurare quando i test A/B non bastano

Se il 77% dei test A/B è sprecato e l’attivazione post‑acquisto offre una strada diversa, allora cosa dobbiamo misurare? Forse non il tasso di conversione immediato, ma il tasso di retention a 90 giorni. Forse non il colore del bottone, ma il contenuto delle email di onboarding. L’unico modo per scoprirlo è smettere di inseguire falsi positivi e iniziare a osservare il comportamento reale degli utenti dopo l’acquisto. Su questo, nessun test A/B ci salverà: servono dati longitudinali e analisi qualitative.