Google ha trovato il modo di far dimenticare meno agli LLM

Il framework permette di acquisire fatti nuovi senza cancellare quelli già appresi, superando i limiti del fine-tuning tradizionale

Dieci milioni di token senza perdere il filo. È il dato che salta all’occhio a chiunque abbia passato gli ultimi due anni a ragionare di visibilità nelle risposte AI in termini di retrieval. Stando a il post pubblicato da Google Research lo scorso 27 ottobre, il cosiddetto framework “sleep” permette ai modelli linguistici di grandi dimensioni (LLM) di acquisire in modo continuativo fatti nuovi, trattenere conoscenze di contesto lungo fino a 10 milioni di token e migliorare nel ragionamento complesso. Non è un’esclusiva dell’ultima ora: una versione del lavoro era già pubblicamente disponibile su OpenReview fin da settembre 2025. È però un segnale da leggere con calma, perché mette in discussione un’assunzione che molti di noi danno per scontata.

L’assunzione è questa: un LLM “ricorda” solo ciò che ha nella finestra di contesto o ciò che recupera tramite RAG (Retrieval-Augmented Generation, cioè il meccanismo con cui il modello va a pescare documenti esterni al momento della risposta). Tutto il resto è conoscenza congelata durante l’addestramento. Il framework sleep propone una terza strada.

Dieci milioni di token senza dimenticare: il benchmark che cambia la domanda

Il risultato più vistoso arriva da BABILong, benchmark dedicato alla comprensione di contesti molto lunghi. Qui, secondo i ricercatori, il metodo sleep ha mostrato uno scaling quasi perfetto fino a 10 milioni di token, superando baseline solide come GPT-4 e Titans, l’architettura di memoria a lungo termine che la stessa Google aveva presentato in precedenza. Per dare un’idea dell’ordine di grandezza: parliamo di volumi di testo che nessuna finestra di contesto attuale gestisce in modo nativo con la stessa affidabilità.

Il punto, però, non è solo la scala. Che un modello tenga insieme un contesto enorme è una cosa; che riesca davvero a imparare informazioni nuove senza cancellare quelle che già possiede è tutt’altra faccenda. Ed è qui che il lavoro diventa interessante per chi si occupa di contenuti.

Manciù, kalamang e il forgetting catastrofico

Il test più duro scelto dal team è la traduzione continuativa in lingue che il modello non ha mai visto, come il manciù e il kalamang. In valutazioni a più stadi, il framework sleep ha mantenuto un calo di prestazioni quasi nullo. Le alternative standard, invece, hanno sofferto di forgetting catastrofico durante l’apprendimento sequenziale: parliamo di ICL (in-context learning, cioè fornire esempi direttamente nel prompt), di Cartridges e di SFT (supervised fine-tuning, il riaddestramento supervisionato su dati etichettati). Tradotto: imparare la lingua nuova ha fatto dimenticare quella imparata prima. È esattamente il problema che da sempre rende rischioso aggiornare un modello con informazioni fresche.

Lo stesso schema si ripete sull’incorporazione di conoscenze fattuali, valutata su SQuAD (dataset di domande e risposte su testi) e in modalità continued pre-training (CPT, l’addestramento proseguito su nuovi dati). Il metodo sleep ha raggiunto il 48,9% su singolo task e il 46,2% in CPT, superando il modello base, SFT e SEAL (Self-Adapting Language Models, un approccio in cui il modello genera i propri dati di aggiornamento). Numeri lontani dalla perfezione, va detto: meno di metà delle risposte corrette. Ma il confronto con le baseline è quello che conta in un lavoro di ricerca.

Anche sul ragionamento matematico i risultati reggono. Sui benchmark AIME 24, AIME 25 e HMMT 25, il modello base potenziato con sleep ha ottenuto accuratezze rispettivamente del 79,2%, 69,0% e 46,1%, sopra SFT, GRPO (group relative policy optimization, una tecnica di apprendimento per rinforzo) e OPSD (on-policy self-distillation). Il filo rosso è chiaro: il vero salto non è trattenere più testo, ma consolidare conoscenza nuova senza distruggere quella esistente. Il lavoro si inserisce peraltro in un percorso che Google porta avanti da tempo: l’architettura Hope di il paradigma Nested Learning aveva già mostrato una gestione della memoria a lungo contesto migliore rispetto ai modelli allo stato dell’arte.

Chi dorme già in produzione

L’idea di far “dormire” i modelli non nasce oggi. Già ad aprile 2025 Letta, il team dietro MemGPT, aveva introdotto il concetto di “sleep-time compute”: sfruttare i momenti di inattività per rielaborare informazioni offline. Esiste però una distinzione importante. Un altro filone di ricerca, documentato in un lavoro pubblicato su arXiv, applica il consolidamento offline a livello di inferenza e di gestione del contesto, anziché alla conoscenza parametrica persistente. Il framework di Google, invece, punta proprio lì: a far sedimentare le informazioni nei parametri del modello.

E non si tratta solo di laboratorio. Secondo l’analisi di Turing Post, ci sono indizi che l’idea di consolidamento offline alla base della ricerca di Google stia già arrivando in produzione presso un importante concorrente. La stessa analisi individua nel framework sleep una via intermedia tra due opzioni finora contrapposte: modelli congelati affiancati da RAG da una parte, fine-tuning diretto e rischioso dall’altra.

Per chi lavora sulla visibilità nelle risposte AI, questo è il passaggio che merita attenzione. Finora abbiamo ottimizzato quasi esclusivamente per il retrieval: struttura, chiarezza, citabilità del singolo passaggio nel momento in cui il modello va a cercarlo. Se il consolidamento arriva davvero nei sistemi in produzione, si apre un terzo stato in cui ciò che il modello legge può diventare conoscenza stabile. Con un rischio evidente: un’informazione ambigua o contraddittoria, una volta consolidata, non si corregge cambiando una pagina e aspettando il prossimo crawl.

La domanda operativa, allora, è semplice: il contenuto va pensato per essere recuperato oggi o per diventare memoria domani? La risposta prudente è entrambe le cose. Conviene trattare ogni pagina come qualcosa che deve reggere sia il recupero puntuale sia un eventuale assorbimento nella memoria del modello: fatti chiari, coerenti tra una pagina e l’altra, privi di ambiguità. Non è una tattica nuova, ma il motivo per applicarla con rigore è appena diventato più concreto.