Gli agenti LLM gonfiano i risultati dei test A/B

La calibrazione sui dati storici riduce l’errore di 77 volte, ma i limiti qualitativi restano

Immagina di lanciare un test A/B con mille utenti sintetici e scoprire che la tua nuova landing page converte il 40% in più. Festeggi? Aspetta. Perché quello che sembra un segnale clamoroso potrebbe essere solo un’illusione statistica. Nei giorni scorsi, un paper pubblicato su arXiv da ricercatori di ETH Zurich e Adobe Research ha messo alla prova l’uso dei modelli linguistici come utenti simulati nei test A/B, e il verdetto è più sfumato — e più interessante — di quanto chiunque sperasse. I modelli prendono la direzione giusta, ma gonfiano sistematicamente le magnitudini. E questo cambia tutto per chi fa CRO.

L’illusione della precisione: quando l’IA prende la direzione giusta ma sbaglia i numeri

L’idea di usare i modelli linguistici come cavie per esperimenti non è nuova. Già nel 2023, l’economista John Horton aveva proposto nel suo paper “Homo Silicus” che gli LLM potessero servire come soggetti umani simulati per esperimenti economici e comportamentali. Da allora, la tentazione è stata forte: perché spendere tempo e denaro per reclutare panel di utenti reali quando un modello può generare migliaia di risposte in pochi minuti?

Il framework S-RCT — Simulated Randomized Controlled Trial — prova a dare una risposta basata sui dati, non sulle promesse. I ricercatori lo hanno validato su 67 test A/B di marketing già condotti nella realtà, confrontando le stime simulate con gli effetti misurati sul campo. Il risultato baseline, ottenuto con un modello foundation off-the-shelf, è un paradosso perfetto: il sign overlap — ovvero la capacità del modello di indovinare la direzione dell’effetto — raggiunge 0.70. Non è male: significa che in 7 casi su 10 l’agente sintetico ti dice correttamente se la variante A batte la B o viceversa. Il problema è l’altro numero, quello che non puoi ignorare: la magnitudine. Le stime simulate sovrastimano sistematicamente l’effetto reale, a volte in modo grossolano. Usare quei numeri per decidere un investimento sarebbe come guidare con un tachimetro che segna 130 quando ne fai 90: la direzione è quella giusta, ma la velocità è completamente sbagliata.

Per chi fa CRO quotidianamente, questo è un campanello d’allarme. Un test simulato che ti dice “+25% di conversione” potrebbe corrispondere a un effetto reale di pochi punti percentuali. E sappiamo bene che decisioni basate su stime gonfiate portano a prioritizzare male, a investire su varianti che nella realtà deludono, a perdere fiducia nel metodo stesso. Il segnale direzionale c’è, ed è prezioso per uno screening rapido. Ma senza una correzione, quei numeri sono pericolosi.

La calibrazione a due fasi: da sovrastima a previsione utile

Il team di ricerca non si è fermato alla diagnosi. Ha proposto una soluzione che merita attenzione: un protocollo di calibrazione pre-periodo in due fasi. In pratica, prima di lanciare il test simulato vero e proprio, si esegue una taratura del modello sui dati storici, allineando le sue stime agli effetti realmente osservati in test già conclusi. Il risultato è notevole: l’errore quadratico di predizione — depurato dal rumore di misura irriducibile — si riduce di circa 77 volte. Non è un miglioramento marginale: è un salto di ordine di grandezza.

C’è un secondo accorgimento tecnico che stringe ulteriormente le stime: il design within-subject, in cui ogni agente sintetico viene esposto a entrambe le varianti del test, anziché essere assegnato casualmente a un solo braccio. Questo approccio riduce gli errori standard di circa 2,4 volte, perché isola la variabilità individuale dell’agente dal confronto tra i trattamenti. È lo stesso principio per cui un test paired è più potente di un between-subject: meno rumore, più segnale.

Un dettaglio importante per chi seguirà l’evoluzione di questi strumenti: il framework S-RCT è agnostico rispetto all’agente. Qualsiasi modello comportamentale — da un modello specializzato e fine-tuned fino a un foundation model general-purpose — può servire come motore di simulazione. Questo significa che man mano che i modelli migliorano, il framework eredita automaticamente quei miglioramenti. Ma significa anche che la qualità delle simulazioni dipende interamente dalla qualità del modello che ci metti dentro: non esiste una calibrazione che trasformi un cattivo agente in un buon predittore.

I limiti e i competitor: la simulazione non è empatia

Se da un lato la calibrazione riduce l’errore, dall’altro il panorama degli strumenti e le voci critiche impongono cautela. Prendiamo AgentA/B, un sistema che utilizza agenti autonomi basati su LLM per simulare interazioni utente con pagine web reali: in un test su Amazon.com ha impiegato 1.000 agenti per un esperimento between-subject. Roba seria. Ma il framework S-RCT, con i suoi 67 test di marketing validati, si posiziona come un punto di confronto più vicino a strumenti come SimAB che a esperimenti one-shot su una singola piattaforma. La scala della validazione conta, e 67 test dicono più di un caso studio isolato.

Poi c’è la questione sollevata dal Nielsen Norman Group, una delle voci più autorevoli nella UX research: gli utenti sintetici non possono sostituire la profondità e l’empatia che nascono dallo studiare e parlare con persone reali. Spesso forniscono feedback superficiali o eccessivamente favorevoli. Per chi si occupa di test qualitativi, di usabilità, di comprensione del contesto d’uso, questa non è una nota a margine: è un limite strutturale. Un agente LLM può dirti se un layout funziona meglio di un altro in media, ma non può raccontarti la frustrazione di un utente che non trova il pulsante di checkout, né cogliere l’esitazione di chi legge una microcopy ambigua. La simulazione cattura pattern statistici, non esperienze vissute.

Alla fine, il framework S-RCT è un passo avanti solido nella validazione statistica degli esperimenti simulati. La calibrazione funziona, il design within-subject aiuta, e il segnale direzionale — se usato con cautela — può già servire per prioritizzare le idee prima di investire in un test reale. Ma la strada verso test A/B completamente simulati su cui prendere decisioni di business è ancora lunga. La prossima frontiera non è tecnica: è pratica. Servono validazioni su mercati reali, su categorie di prodotto diverse, su funnel complessi. Finché non avremo dati su come questi modelli si comportano fuori dal laboratorio, la risposta alla domanda “posso fidarmi di un utente sintetico per decidere il mio prossimo redesign?” resterà la stessa: fidati, ma verifica. Con utenti veri.