Il report valuta la direzione strategica della piattaforma, ma i dati di adozione non dimostrano l’impatto sui tassi di conversione

La valutazione di Forrester pubblicata lo scorso 17 agosto conferma Optimizely come Leader e Customer Favorite nella categoria Experience Optimization Solutions. I riconoscimenti arrivano con i punteggi più alti possibili in visione, innovazione, roadmap e partner ecosystem. Nel frattempo, quasi 1.700 aziende hanno costruito oltre 4.000 agenti AI eseguiti più di 172.000 volte tra sperimentazione, esecuzione campagne, produzione contenuti e reporting. Eppure nessuno di questi numeri risponde alla domanda che conta davvero per chi ottimizza i tassi di conversione: quante di quelle esecuzioni hanno portato a decisioni migliori sui test? Il riconoscimento di un analista non è una metrica di conversione.

Leader, ma a che pro?

Secondo Forrester, Optimizely ha ricevuto i punteggi più alti possibili nei criteri di visione, innovazione, roadmap e partner ecosystem. È stata anche nominata Customer Favorite, un riconoscimento basato sul feedback dei clienti tra i vendor valutati. La visione, scrive il report, è “chiaramente focalizzata sull’AI con una ridefinizione dei layer di esperienza EO, incluso l’esperienza agentica oltre il cliente e il marketing”. Si tratta di un giudizio sulla direzione strategica, non sulla capacità di produrre risultati misurabili.

Già nell’ottobre del 2024 Optimizely era stata nominata Leader nel The Forrester Wave™: Experience Optimization Solutions, Q4 2024. Secondo il report di Forrester, la visione di una piattaforma unificata tramite Optimizely One dava un vantaggio competitivo, aiutando i clienti a pianificare, creare e ottimizzare le esperienze end to end. Il percorso è coerente. Ma i riconoscimenti non rispondono alla domanda pratica: quante di quelle aziende hanno ottenuto risultati misurabili in termini di conversione, ricavo per utente o qualità delle decisioni di prodotto? I titoli misurano il posizionamento, non l’impatto. Passiamo ai numeri di adozione.

Cosa dicono davvero 4.000 agenti e 172.000 esecuzioni

Il passaggio dai riconoscimenti ai numeri di utilizzo è inevitabile. Quasi 1.700 aziende che usano Optimizely Opal hanno costruito oltre 4.000 agenti AI unici sulla piattaforma, eseguiti più di 172.000 volte tra sperimentazione, esecuzione campagne, produzione contenuti e reporting. Sono cifre che descrivono un’adozione reale, non un progetto pilota. Ma il volume di esecuzioni misura l’automazione, non la qualità delle decisioni.

In CRO, un test A/B ha senso solo se produce un risultato significativo su un campione adeguato, con una differenza minima rilevabile dichiarata e un’analisi che distingue un segnale reale dal rumore statistico. Un agente AI può eseguire un test in autonomia, ma se il test non è disegnato bene — campione insufficiente, durata troppo breve, ipotesi debole — l’esecuzione non vale nulla. Quante di queste 172.000 esecuzioni hanno prodotto test con significatività statistica? Quante hanno cambiato una decisione di prodotto o una strategia di conversione? Non lo sappiamo, perché i dati disponibili non lo dicono.

Il mercato dell’Experience Optimization si è consolidato attorno alla personalizzazione basata su AI e all’AI generativa, come lo inquadra Forrester nella sua analisi della categoria. Se il mercato si è consolidato sull’AI, la domanda diventa: come si misura il valore di un esperimento agentico? Il numero di agenti costruiti è una metrica di adozione, non di impatto. Quattromila agenti possono eseguire 172.000 volte senza che una sola di quelle esecuzioni abbia migliorato una metrica che conta per l’azienda.

La domanda che Forrester non ha fatto

Questo lascia una domanda scomoda che nemmeno Forrester ha affrontato: questi agenti producono test migliori o solo più test? Finché il volume di esecuzioni non viene collegato a metriche CRO reali — tasso di vincita dei test, conversione, fatturato per utente — il riconoscimento resta una promessa.

Il prossimo test è il mercato stesso. Capire se 4.000 agenti AI e 172.000 esecuzioni portano a decisioni migliori o solo a più automazione. Finché non misuriamo l’impatto sui test reali, il riconoscimento di Forrester resta una promessa.