LLMs.txt: el nuevo robots.txt para la IA (guía de configuración)

Igual que robots.txt se volvió imprescindible en cuanto los buscadores empezaron a rastrear la web, LLMs.txt se está volviendo imprescindible ahora que los rastreadores de IA indexan la web para entrenar grandes modelos de lenguaje y para recuperar información en tiempo real. Es un simple archivo de texto en formato Markdown que colocas en la raíz de tu dominio y que lleva a los sistemas de IA, de forma explícita, hacia tu mejor contenido y lejos del que no quieres que se indexe.

¿Qué es LLMs.txt?

LLMs.txt es un estándar abierto que propuso Answer.AI (Jeremy Howard y colaboradores) en 2024 y que las organizaciones atentas a la IA adoptaron enseguida. El archivo vive en yoursite.com/llms.txt y contiene:

• Una breve descripción de tu sitio y de su propósito

• Una lista curada de tus URL más importantes, cada una con una descripción de una línea

• Secciones opcionales que organizan el contenido por tipo o por tema

• Un enlace opcional a llms-full.txt para los sistemas que quieran ingerir el contenido completo de las páginas

A diferencia de robots.txt (que funciona con directivas allow/disallow), LLMs.txt es una guía positiva: les dice a los sistemas de IA qué priorizar, no solo qué evitar.

Por qué LLMs.txt importa para el AEO

Los rastreadores de IA se enfrentan al mismo reto que tenían los rastreadores tradicionales: un sitio puede tener miles de páginas, pero solo una parte es contenido de calidad y con autoridad. Sin ninguna guía, tienen que deducir la calidad a partir de señales que quizá no reflejen tu mejor trabajo. LLMs.txt lo resuelve porque te permite señalar de forma explícita cuáles son tus páginas canónicas y de referencia.

Los sitios web con archivo LLMs.txt reportan que los rastreadores de IA cubren antes sus páginas prioritarias que en los sitios que no lo tienen, ya que pueden identificar y priorizar de inmediato el contenido enlazado.

El archivo también ayuda a evitar que los motores de IA indexen contenido antiguo de baja calidad, páginas en borrador o contenido escaso que podría diluir tu señal de autoridad general.

Formato del archivo LLMs.txt

El archivo usa sintaxis Markdown. Este es un ejemplo mínimo que funciona:

# AI Rank Lab

> AI Rank Lab is a SaaS platform for optimizing website visibility in
> AI search engines (ChatGPT, Gemini, Perplexity, Claude) through AEO
> and GEO analysis, content optimization, and citation tracking.

## Core Documentation
- [AEO Complete Guide](/blog/what-is-aeo-complete-guide-answer-engine-optimization-2026): Comprehensive guide to Answer Engine Optimization
- [GEO vs SEO 2026](/blog/geo-vs-seo-2026-what-changed-what-stays-what-matters): Comparison of GEO and SEO strategies

## Product Documentation
- [Dashboard Overview](/docs/dashboard): How to use the AI Rank Lab dashboard
- [Citation Tracking](/docs/citation-tracking): Setting up citation monitoring

## Optional: Full Content
llms-full.txt: https://airanklab.com/llms-full.txt

Cómo configurarlo paso a paso

1. Crea el archivo: crea un archivo de texto plano llamado llms.txt con el formato Markdown de arriba

2. Elige tus URL: quédate con tus 10–30 páginas con más autoridad y más representativas: artículos pilar, páginas clave de producto y la documentación principal

3. Escribe las descripciones: añade a cada URL una descripción breve y precisa, de una línea, que explique de qué trata la página

4. Súbelo a la raíz: coloca el archivo en yoursite.com/llms.txt (no en un subdirectorio)

5. Comprueba el acceso: abre yoursite.com/llms.txt en el navegador para confirmar que es de acceso público y que se sirve con Content-Type: text/plain

6. Mantenlo al día: actualiza el archivo cada vez que publiques contenido nuevo de alta prioridad o retires contenido antiguo

Qué plataformas lo admiten

LLMs.txt vs. robots.txt vs. sitemap.xml: la foto completa

Estrategias avanzadas con LLMs.txt

Organizar por secciones en sitios grandes

Si tu sitio tiene más de 50 páginas de calidad, organiza tu LLMs.txt en secciones temáticas. Los rastreadores de IA procesan el archivo de arriba abajo, así que pon primero tu contenido con más autoridad:

# Nombre de tu sitio

> Breve descripción del sitio (1–2 frases como máximo)

## Contenido más importante
- [URL 1](link): Descripción de la página con más autoridad
- [URL 2](link): Descripción de la segunda página más importante

## Por tema: categoría A
- [URL 3](link): Descripción
- [URL 4](link): Descripción

## Por tema: categoría B
- [URL 5](link): Descripción

El archivo complementario llms-full.txt

El archivo llms-full.txt es un complemento opcional que contiene el texto completo en Markdown de tus páginas clave. Así, los sistemas de IA pueden ingerir todo tu contenido sin tener que pedir cada página por separado. Donde más valor aporta es en:

• Sitios de documentación que consultan herramientas de IA como Cursor y GitHub Copilot

• Sitios hechos con React/Next.js o con páginas cargadas de JavaScript, que a los rastreadores de IA les puede costar renderizar

• Contenido de alta prioridad que quieres que los sistemas de IA tengan con todo su contexto

Rastreadores de IA conocidos y cómo tratan LLMs.txt

Cómo medir si tu LLMs.txt funciona

Para saber si tu LLMs.txt está dando resultado:

1. Análisis de los logs del servidor: busca peticiones a /llms.txt desde user agents de rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot)

2. Visitas posteriores a las páginas: después de esas peticiones a LLMs.txt, comprueba si las URL de la lista reciben visitas de los rastreadores; eso indica que se está siguiendo el archivo

3. Cambio en la tasa de citas: mide la tasa de citas en IA de las páginas que incluyes en LLMs.txt antes y después de publicarlo; cuenta con un retraso de 4–8 semanas hasta que se noten los efectos

4. Monitorización con AI Rank Lab: usa el panel de actividad de rastreadores de AI Rank Lab para ver qué rastreadores de IA acceden a qué páginas

Errores frecuentes con LLMs.txt

• Ponerlo en un subdirectorio: el archivo tiene que estar en yoursite.com/llms.txt, no en yoursite.com/docs/llms.txt

• Incluir contenido de baja calidad: enumera solo tus mejores páginas; si metes contenido escaso o desactualizado, diluyes la calidad de la señal

• No actualizarlo nunca: conviene actualizar LLMs.txt cuando publicas contenido nuevo de alta prioridad o retiras contenido antiguo

• Content-Type incorrecto: asegúrate de que el archivo se sirve como text/plain, no como text/html

• Bloquear LLMs.txt en robots.txt: si impides sin querer que los rastreadores de IA lean el propio archivo LLMs.txt, pierde todo su sentido

Ideas clave

• LLMs.txt lo propuso Jeremy Howard, de Answer.AI, en 2024, y hoy lo admiten GPTBot, ClaudeBot y PerplexityBot

• A diferencia de robots.txt (restringe el acceso) o de sitemap.xml (enumera todas las páginas), LLMs.txt es una guía positiva y curada para los sistemas de IA

• Configurarlo lleva menos de 30 minutos; el mantenimiento se reduce a alguna actualización puntual cuando publicas contenido prioritario nuevo

• Mide su eficacia vigilando los logs del servidor para ver los rastreadores de IA y siguiendo la evolución de la tasa de citas de las URL incluidas

• El archivo complementario llms-full.txt es especialmente útil para sitios de documentación y páginas con mucho JavaScript

Si quieres un tutorial de implementación detallado, consulta nuestra guía paso a paso para crear tu LLMs.txt. Gestiona y controla el impacto de tu LLMs.txt con AI Rank Lab.