Il 40% che non compare in busta paga

Secondo l’intervista a David Cost pubblicata ieri da ClickZ, nel 2025 un fornitore di voice-AI aveva dichiarato che il suo agente poteva risolvere il 40% delle chiamate al servizio clienti senza un essere umano. Rainbow ha supervisionato il rollout e lo ha lasciato crescere, come si farebbe con un test ben condotto. Il vendor ha puntualmente riportato il 40%. Eppure Rainbow dispone di dodici anni di dati sugli agenti, e una riduzione reale del 40% delle risoluzioni avrebbe dovuto tagliare le ore degli agenti in misura simile: il team non vedeva quasi alcuna differenza.

La percentuale promessa dal fornitore non è mai comparsa in busta paga. Il problema, in termini di metodo, non era il modello ma l’assenza di una metrica operativa condivisa prima del test: il 40% del vendor era una misura di processo, non un risparmio effettivo di ore lavorate. Rainbow è un caso isolato o il sintomo di un problema diffuso nel retail?

Sostituire è fallito, potenziare ha funzionato

Se il caso Rainbow sembra un’anomalia, i numeri raccontano un pattern. Un sondaggio KPMG su 500 CEO ha rilevato che solo il 10% prevedeva di ridurre il personale a causa dell’uso dell’IA: la grande maggioranza non pianificava tagli. I progetti di sostituzione con AI nel retail hanno fallito miseramente, mentre quelli di potenziamento hanno avuto grande successo. La sostituzione pura, quella che promette di eliminare postazioni umane senza ridefinire i processi, si scontra con la realtà dei dati operativi.

David Cost aggiunge due dati di contesto. Circa un terzo degli americani ha una laurea, quindi due terzi non ce l’hanno. La query media su Google è di tre parole, mentre quella su ChatGPT è di trentadue. Il salto da tre a trentadue parole non è un dettaglio: cambia il tipo di richiesta. Un modello addestrato su FAQ semplici non regge quando la domanda diventa conversazionale. Se l’intento dell’utente diventa più articolato, l’automazione da sola non basta: serve un agente potenziato, non un agente eliminato.

Dal punto di vista del metodo CRO, il fallimento del test di Rainbow è istruttivo. Senza una metrica primaria definita prima del test, qualsiasi percentuale può sembrare un successo. In un A/B test la metrica va stabilita prima di raccogliere i dati, non dopo: se la decidi a posteriori, rischi di cercare il risultato che conferma la demo. Rainbow aveva i dati per verificare l’ipotesi, dodici anni di storico sulle ore degli agenti. Sarebbe bastato definire la minima differenza rilevabile prima di accettare la promessa del fornitore.

Prima il ROI, poi la firma

Rainbow ha tradotto il fallimento in una regola operativa: ora insiste su una prova di concetto prima di qualsiasi contratto a lungo termine e definisce come dimostrerà il ROI prima ancora di iniziare un test. La domanda resta: quale metrica dimostrerà che l’AI ha potenziato e non solo promesso?

La prossima volta che un vendor promette una percentuale miracolosa, chiediti: su quale numero la vedrai? Se non lo sai prima del test, hai già perso.