La potenza statistica è il parametro che determina se un test ha senso prima ancora di iniziare
Se apri il pannello del tuo tool di A/B testing e vedi “significativo al 95%” lampeggiare in verde, la domanda da farti non è se il test ha funzionato. La domanda è se avevi abbastanza traffico perché quel risultato avesse un senso. La risposta, nell’80% dei casi, è no — e il motivo ha un nome preciso: la potenza statistica nell’A/B testing, la probabilità che un test rilevi un effetto reale quando esiste.
E la maggior parte dei team di CRO la ignora completamente.
Perché il tuo test di tre giorni è un’illusione ottica
Il test deve essere eseguito per almeno uno o due cicli aziendali completi. È un principio cardine della corretta interpretazione dei risultati A/B. Tagliare prima significa osservare rumore travestito da tendenza. E quando guardi ai risultati aggregati senza segmentare, stai facendo lo stesso errore da un’altra angolazione: i dati vanno divisi per dispositivo, fonte di traffico e tipo di utente, come raccomandato dalla guida alla segmentazione dei test. Perché i risultati aggregati possono nascondere ciò che sta realmente accadendo tra visitatori nuovi e di ritorno — e per questo la segmentazione per tipologia di visitatore è obbligatoria.
Prima di lanciare qualsiasi variazione, devi aver scelto una sola metrica primaria: l’obiettivo di conversione che il test è progettato per spostare (tasso di iscrizione, tasso di acquisto, completamento del modulo). È la regola base della metrica primaria.
La trappola del 95% e il beta che nessuno calcola
Un livello di confidenza del 95% significa che c’è una probabilità del 5% che il risultato sia un falso positivo. Lo spiega bene la soglia di confidenza nell’interpretazione. Il metodo frequentista chiede se il risultato è probabile data un’ipotesi nulla vera — è il cuore della lettura frequentista dei risultati. Quello bayesiano invece chiede: dati i dati, qual è la probabilità che B sia migliore? — come mostra la guida all’interpretazione bayesiana.
Ma né l’approccio frequentista né quello bayesiano ti salveranno se non hai impostato la potenza statistica prima del lancio. La potenza si fissa a monte e determina la dimensione campionaria necessaria, come spiega la procedura di power analysis pre-test. La formula è semplice: potenza = 1 − β, ricorda la formula della potenza statistica. Con una potenza dell’80%, se l’effetto reale esiste il test ha l’80% di probabilità di rilevarlo e il 20% di mancarlo. È la soglia standard di potenza consigliata. La significatività (α) controlla i falsi positivi, la potenza controlla i falsi negativi: è il trade-off descritto dalla relazione tra α e potenza. E tutto dipende da quattro fattori — dimensione campionaria, minima differenza rilevabile (MDE), livello di significatività e varianza dei dati — come sintetizza la power analysis a quattro fattori. Un campione più grande aumenta la potenza, come sottolinea la regola della dimensione campionaria. Una varianza più bassa aumenta la potenza; una varianza alta la deprime e richiede un campione più grande, secondo la guida all’effetto della varianza.
Cosa fare quando il test non parla
I numeri dicono cosa è cambiato; il comportamento spiega perché.
È il mantra di chiunque abbia davvero studiato l’interpretazione qualitativa dei test A/B. Con il tech-stack integrato di VWO, i team possono analizzare mappe di calore, registrazioni delle sessioni e comportamento di scorrimento per ogni variazione del test. La piattaforma di analisi VWO unisce dati quantitativi e qualitativi. E, tra i migliori strumenti di heatmap oggi, Convert Experiences integra Convert Signals®, un layer di rilevamento della frustrazione che identifica automaticamente rage click, dead click, blocchi di scorrimento, esitazioni e ritardi di rendering.
Ma tutto questo — mappe di calore, registrazioni, segnali di frustrazione — serve a zero se il test non aveva potenza.
Domani mattina, prima di premere “Avvia test”, apri un calcolatore di potenza: fissa l’MDE che vuoi intercettare, imposta α a 0.05 e potenza a 0.80, e arriva al numero di visitatori necessario. Solo dopo, lascia che il test giri per il ciclo giusto, segmenta in modo ossessivo e usa i numeri come mappa, non come sentenza.
