LLMs.txt, il nuovo robots.txt per l'IA: guida alla configurazione

Così come robots.txt è diventato indispensabile nel momento in cui i motori di ricerca hanno iniziato a scansionare il web, oggi LLMs.txt lo sta diventando per i crawler dell'IA, che indicizzano il web per l'addestramento dei modelli linguistici di grandi dimensioni e per il recupero di informazioni in tempo reale. È un semplice file di testo in formato Markdown, da mettere nella root del dominio, che indica in modo esplicito ai sistemi di IA quali sono i tuoi contenuti migliori e li tiene lontani da quelli che non vuoi far indicizzare.

Che cos'è LLMs.txt?

LLMs.txt è uno standard aperto proposto da Answer.AI (Jeremy Howard e altri) nel 2024 e adottato in fretta dalle organizzazioni più attente all'IA. Il file si trova all'indirizzo yoursite.com/llms.txt e contiene:

• Una breve descrizione del sito e del suo scopo

• Un elenco selezionato degli URL più importanti, ciascuno con una descrizione di una riga

• Sezioni facoltative che organizzano i contenuti per tipo o per argomento

• Un link facoltativo a llms-full.txt per i sistemi che vogliono acquisire il contenuto completo delle pagine

A differenza di robots.txt, che lavora con direttive allow/disallow, LLMs.txt è una guida in positivo: dice ai sistemi di IA a cosa dare priorità, non solo cosa evitare.

Perché LLMs.txt conta per l'AEO

I crawler dell'IA hanno lo stesso problema che avevano i crawler tradizionali: un sito può avere migliaia di pagine, ma solo una parte rappresenta contenuti autorevoli e di qualità. Senza indicazioni, i crawler dell'IA devono dedurre la qualità da segnali che non sempre colgono il tuo lavoro migliore. LLMs.txt risolve il problema permettendoti di segnalare in modo esplicito quali sono le tue pagine canoniche e autorevoli.

I siti che hanno un file LLMs.txt riportano una copertura più rapida delle pagine prioritarie da parte dei crawler dell'IA rispetto ai siti che non ce l'hanno, perché i crawler riescono a individuare subito i contenuti linkati e a dar loro la precedenza.

Il file aiuta anche a evitare che i motori IA indicizzino vecchi contenuti di bassa qualità, bozze o pagine povere che potrebbero diluire il tuo segnale di autorevolezza complessivo.

Il formato del file LLMs.txt

Il file usa la sintassi Markdown. Ecco un esempio minimo funzionante:

# AI Rank Lab

> AI Rank Lab is a SaaS platform for optimizing website visibility in
> AI search engines (ChatGPT, Gemini, Perplexity, Claude) through AEO
> and GEO analysis, content optimization, and citation tracking.

## Core Documentation
- [AEO Complete Guide](/blog/what-is-aeo-complete-guide-answer-engine-optimization-2026): Comprehensive guide to Answer Engine Optimization
- [GEO vs SEO 2026](/blog/geo-vs-seo-2026-what-changed-what-stays-what-matters): Comparison of GEO and SEO strategies

## Product Documentation
- [Dashboard Overview](/docs/dashboard): How to use the AI Rank Lab dashboard
- [Citation Tracking](/docs/citation-tracking): Setting up citation monitoring

## Optional: Full Content
llms-full.txt: https://airanklab.com/llms-full.txt

Configurazione passo passo

1. Crea il file: crea un file di testo semplice chiamato llms.txt usando il formato Markdown visto sopra

2. Scegli gli URL: seleziona le 10–30 pagine più autorevoli e rappresentative, cioè articoli pilastro, pagine prodotto principali e documentazione di base

3. Scrivi le descrizioni: aggiungi per ogni URL una descrizione di una riga, concisa e precisa, che spieghi di cosa parla la pagina

4. Caricalo nella root: metti il file in yoursite.com/llms.txt (non in una sottocartella)

5. Verifica l'accesso: apri yoursite.com/llms.txt nel browser per controllare che sia accessibile pubblicamente con Content-Type: text/plain

6. Tienilo aggiornato: aggiorna il file ogni volta che pubblichi nuovi contenuti prioritari o togli di mezzo quelli vecchi

Quali piattaforme lo supportano

LLMs.txt, robots.txt e sitemap.xml a confronto: il quadro completo

Strategie avanzate per LLMs.txt

Organizzare le sezioni nei siti grandi

Se il tuo sito ha più di 50 pagine di qualità, organizza LLMs.txt in sezioni tematiche. I crawler dell'IA leggono il file dall'alto verso il basso, quindi metti per primi i contenuti più autorevoli:

# Nome del tuo sito

> Breve descrizione del sito (massimo 1–2 frasi)

## Contenuti più importanti
- [URL 1](link): Descrizione della pagina più autorevole
- [URL 2](link): Descrizione della seconda pagina più importante

## Per argomento: Categoria A
- [URL 3](link): Descrizione
- [URL 4](link): Descrizione

## Per argomento: Categoria B
- [URL 5](link): Descrizione

Il file di accompagnamento llms-full.txt

Il file llms-full.txt è un complemento facoltativo che contiene il testo Markdown completo delle tue pagine chiave. Così i sistemi di IA possono acquisire tutti i tuoi contenuti senza dover richiedere le pagine una per una. È particolarmente utile per:

• Siti di documentazione, dove strumenti di IA come Cursor e GitHub Copilot interrogano la tua documentazione

• Siti con pagine React/Next.js o molto basate su JavaScript, che i crawler dell'IA possono faticare a renderizzare

• Contenuti ad alta priorità che vuoi far avere ai sistemi di IA con il contesto completo

I crawler IA più noti e come si comportano con LLMs.txt

Come misurare se LLMs.txt funziona

Per capire se il tuo LLMs.txt sta funzionando:

1. Analisi dei log del server: cerca le richieste a /llms.txt provenienti dagli user agent dei crawler IA (GPTBot, ClaudeBot, PerplexityBot)

2. Visite successive alle pagine: dopo le richieste a LLMs.txt, controlla se gli URL elencati ricevono visite dai crawler: è il segno che il file viene seguito

3. Variazione del tasso di citazione: monitora il tasso di citazione IA delle pagine elencate in LLMs.txt prima e dopo la pubblicazione; metti in conto 4–8 settimane prima di vedere effetti

4. Monitoraggio con AI Rank Lab: usa la dashboard sull'attività dei crawler di AI Rank Lab per vedere quali crawler IA accedono a quali pagine

Gli errori più comuni con LLMs.txt

• Metterlo in una sottocartella: il file deve stare in yoursite.com/llms.txt, non in yoursite.com/docs/llms.txt

• Inserire contenuti di bassa qualità: elenca solo le pagine migliori; aggiungere contenuti poveri o superati diluisce la qualità del segnale

• Non aggiornarlo mai: LLMs.txt va aggiornato quando pubblichi nuovi contenuti prioritari o dismetti quelli vecchi

• Content-Type sbagliato: assicurati che il file venga servito come text/plain, non come text/html

• Bloccare LLMs.txt in robots.txt: se impedisci per errore ai crawler IA di leggere proprio il file LLMs.txt, ne vanifichi lo scopo

In sintesi

• LLMs.txt è stato proposto da Jeremy Howard di Answer.AI nel 2024 e oggi è supportato da GPTBot, ClaudeBot e PerplexityBot

• A differenza di robots.txt (che limita l'accesso) e di sitemap.xml (che elenca tutte le pagine), LLMs.txt è una guida in positivo, selezionata, per i sistemi di IA

• La configurazione richiede meno di 30 minuti; la manutenzione si limita a qualche aggiornamento quando pubblichi nuovi contenuti prioritari

• Misura l'efficacia monitorando i log del server per i crawler IA e le variazioni del tasso di citazione degli URL elencati

• Il file di accompagnamento llms-full.txt è particolarmente prezioso per i siti di documentazione e le pagine molto basate su JavaScript

Per un tutorial dettagliato, consulta la nostra guida passo passo per creare il file LLMs.txt. Gestisci e monitora l'impatto del tuo LLMs.txt con AI Rank Lab.