llms.txt non viene letto dai bot AI, ma i crawler continuano a prelevare le pagine per addestrare i modelli

Centomila domini non mentono.

Quando Ahrefs ha incrociato i log server per capire se llms.txt stesse davvero attirando i crawler dei modelli linguistici, il risultato è stato un deserto: l’analisi di Ahrefs su 100.000 domini non ha trovato segnali di crawl sistematico. Eppure nelle community SEO il file llms.txt continua a essere trattato come il nuovo robots.txt per l’intelligenza artificiale generativa.

A smontare questa narrazione è bastato un esperimento tanto semplice quanto imbarazzante: il file cats.txt, un documento popolato con informazioni su un gatto che non esiste in nessun’altra pagina del web. I bot di Perplexity, GPTBot, ClaudeBot e Googlebot lo hanno prelevato senza esitazione, e i modelli linguistici hanno cominciato a restituire i dettagli sul gatto di cats.txt come se fossero fatti reali. Come se non bastasse, ChatGPT ha confermato, con dovizia di particolari, l’effetto ranking di cats.txt secondo ChatGPT, sostenendo che un file del genere potesse influenzare il posizionamento nelle risposte dell’AI. Peccato che il gatto non esista e che il file non abbia alcun ruolo nei sistemi di ranking reali.

«Per quel che vale, nessun sistema AI usa attualmente llms.txt. […] È super-ovvio se guardate i vostri log server. I chatbot consumer — quelli da cui i SEO vogliono traffico — prelevano le vostre pagine per addestramento e grounding, ma nessuno di loro preleva il file llms.txt. Forse lo faranno domani? Forse domani vinco alla lotteria?»

La dichiarazione di John Mueller su llms.txt non lascia spazio a interpretazioni. E i dati gli danno ragione: lo studio su 300.000 domini e llms.txt non ha rilevato alcun vantaggio misurabile in termini di citazioni per i siti che hanno adottato il file.

Un corpus sterminato e indifferente ai file di cortesia

Chi cerca una scorciatoia tecnica per l’AI dovrebbe guardare dentro i dati di addestramento. Il progetto What’s In My Big Data, guidato da Elazar e colleghi, ha esaminato dieci corpora usati per addestrare i modelli più diffusi. All’interno di il corpus C4 — il Colossal Clean Crawled Corpus — persino il dominio più rappresentato non arriva allo 0,05% dei documenti totali. In un ecosistema così frammentato, l’idea che un file di testo inserito nella root del sito possa orientare le risposte di un modello è quantomeno ingenua.

Due gare quasi identiche, un unico allenamento

L’ossessione per llms.txt nasconde un equivoco di fondo: credere che l’ottimizzazione per l’AI generativa richieda strumenti radicalmente diversi da quelli che già usiamo per Google. L’addestramento per AI Search e Google segue dinamiche sorprendentemente sovrapposte: entrambi i sistemi premiano architetture informative chiare, segnali di autorevolezza distribuiti nel tempo e menzioni da parte di fonti terze. Siti chiari con presenza off-site coerente restano la base per farsi citare tanto nella SERP quanto nelle risposte generate dai modelli linguistici.

Nel frattempo su larga scala ha circa quattro anni, un orizzonte temporale che coincide con l’inizio del crawling massivo da parte dei bot AI. Quattro anni sono tanti per chi spera in un quick win, ma sono il minimo sindacale per costruire un’autorità che resista al passaggio da un algoritmo all’altro.

La mossa per domattina (e non è llms.txt)

Chi gestisce un sito può fare una cosa molto più redditizia che aggiungere un file di testo ignorato dai crawler: verificare nei log se e come i bot dei modelli linguistici stanno già prelevando le pagine esistenti. Se le pagine spariscono dopo poche settimane senza essere più rilette, il segnale è inequivocabile: il contenuto non viene ritenuto abbastanza solido da finire nei dataset di grounding. La risposta non è un file llms.txt. È tornare a lavorare su architettura informativa, link earning e fonti che citano il sito senza che nessuno glielo abbia chiesto. L’autorità nell’AI, proprio come nella ricerca tradizionale, arriva quando sono gli altri a parlare di te. E questo non si compila in un file di testo: si costruisce, anno dopo anno.