Il sistema ha marcato 180 miliardi di contenuti dal 2023, ma resta da capire quanto siano corrette le risposte

Chi lavora con i dati conosce bene le metriche di vanità: numeri che crescono, grafici tutti verdi e nessuna informazione su ciò che conta davvero. L’annuncio di Google su SynthID, pubblicato lo scorso 7 ottobre, ha numeri da report trimestrale perfetto. Secondo il post ufficiale di Google DeepMind, il sistema ha marcato oltre 180 miliardi di immagini e video, e la verifica integrata nei prodotti Google gestisce più di un milione di richieste al giorno. A due settimane di distanza vale la pena rileggere quei dati con la domanda che si fa a ogni test prima di dichiarare un vincitore: quanto spesso il sistema risponde in modo sbagliato?

Il cruscotto perfetto: 180 miliardi di watermark e un milione di verifiche al giorno

Mettiamo i numeri in fila, come in una dashboard. Oltre 180 miliardi di immagini e video contrassegnati con watermark impercettibili. A questi si aggiungono, come riporta la pagina di Google dedicata a SynthID, 240.000 anni di contenuti audio. Dal 7 ottobre il SynthID Detector è disponibile per tutti, a livello globale e in lingua inglese. Lo strumento affianca le funzionalità di verifica già presenti in Search, nell’app Gemini e in Chrome, che secondo Google gestiscono regolarmente più di un milione di richieste al giorno.

Per capire la traiettoria serve un po’ di contesto storico. SynthID è stato lanciato nel 2023. In un paper tecnico pubblicato su arXiv, Google DeepMind descriveva SynthID-Image come un sistema usato per marcare oltre dieci miliardi di immagini e fotogrammi video nei servizi di Google, con un servizio di verifica allora riservato ai “trusted tester”. In poco tempo si è passati da un accesso ristretto e da una scala a dieci cifre a un’apertura globale e a numeri di un altro ordine di grandezza. Come metrica di adozione è difficile chiedere di più. Il problema è che un milione di verifiche al giorno, preso da solo, non dice nulla su quante di quelle risposte siano corrette. È come vantare il traffico di una landing page senza guardare il tasso di conversione, o peggio, senza sapere se il tracking registra gli eventi giusti.

Il test che nessun cruscotto mostra: rimozione, falsificazione, falsi positivi

Un sistema di classificazione si valuta sulla matrice di confusione, non sul numero di righe del dataset. Per un watermark le celle che contano sono due. Ci sono i falsi negativi, cioè contenuti generati dall’AI che il sistema non riconosce più. E ci sono i falsi positivi, cioè contenuti umani che il sistema scambia per sintetici. Il volume dichiarato da Google non dice nulla né sull’una né sull’altra cella.

Qui entrano in gioco i dati esterni. Uno studio riportato da Wired in un’analisi sui limiti del watermarking ha testato diversi watermark invisibili e li ha rimossi tutti con successo, dimostrando che è possibile eluderli o falsificarli. Il ricercatore intervistato è stato netto: «We don’t have any reliable watermarking at this point. We broke all of them», cioè non esiste al momento un watermarking affidabile, «li abbiamo violati tutti». Lo stesso studio mostra anche il problema opposto: si possono aggiungere watermark a immagini create da esseri umani, generando falsi positivi. In termini di test, il sistema può sbagliare in entrambe le direzioni. Un contenuto sintetico ripulito passa per autentico, mentre una foto reale marcata ad arte passa per generata.

C’è poi il caso più banale, quello che non richiede nemmeno un attaccante sofisticato. Secondo un’inchiesta di Reuters, la verifica basata su watermark può cedere dopo ritagli o modifiche, e questo rende più difficile individuare i deepfake durante i periodi elettorali. È il momento in cui l’affidabilità serve di più, e coincide con quello in cui il segnale è più esposto a degradarsi: screenshot, crop, ricompressioni, ripubblicazioni a catena. Va detto con onestà che questi risultati non sono una misura del tasso di errore di SynthID sul traffico reale. Sono prove di vulnerabilità, non stime di prevalenza. Ma il punto metodologico resta: se il segnale può essere tolto e anche aggiunto ad arte, chi si affida a questo standard sta scommettendo su un risultato di test che non è stato pubblicato.

Quando anche OpenAI entra nel test

Nonostante i dubbi, lo standard si sta diffondendo oltre Google. Secondo l’aggiornamento di OpenAI sulla provenienza dei contenuti, l’audio supportato generato con ChatGPT e con l’API OpenAI ora include il watermarking SynthID, e lo strumento pubblico di verifica dell’azienda consente di controllare anche i file audio, oltre alle immagini. L’ironia è evidente: più attori adottano il sistema, più fiducia gli viene accordata, ma un campione più grande non corregge un errore di misura. Lo moltiplica.

Restano quindi aperte le domande che andrebbero testate prima di tutte le altre. Qual è il tasso reale di falsi negativi dopo ritagli e modifiche comuni? Quanti falsi positivi può produrre una falsificazione deliberata? E il milione di verifiche quotidiane viene mai confrontato con l’esito corretto, su un campione etichettato e con intervalli di confidenza dichiarati? Finché questi dati non saranno pubblici, i 180 miliardi di watermark misurano quanto il sistema è diffuso, non quanto ci si possa fidare delle sue risposte.