LLMs.txt 是什么？AI 时代的 robots.txt 完整配置指南

当年搜索引擎开始抓取网页时，robots.txt 一下子成了每个网站的标配。如今 AI 爬虫正在为大语言模型的训练和实时检索大规模收录网页，LLMs.txt 也正在变得同样不可或缺。它就是放在域名根目录下的一个 Markdown 格式文本文件，明确告诉 AI 系统：去看我最好的内容，别去收录我不想被收录的那些。

LLMs.txt 到底是什么？

LLMs.txt 是 Answer.AI（Jeremy Howard 等人）在 2024 年提出的一项开放标准，很快就被一批重视 AI 的机构采用。这个文件放在 yoursite.com/llms.txt，内容包括：

• 一段简短的网站介绍，说明网站是做什么的

• 一份精选的重要 URL 清单，每条附一句说明

• 可选的分区，按内容类型或主题组织页面

• 一个可选的 llms-full.txt 链接，供需要读取完整页面内容的系统使用

robots.txt 靠 allow/disallow 指令控制访问，而 LLMs.txt 是一份正向指南：它告诉 AI 系统应该优先看什么，而不只是该避开什么。

LLMs.txt 为什么对 AEO 很重要？

AI 爬虫面临的难题和传统爬虫一样：一个网站可能有成千上万个页面，真正高质量、有权威性的只占一小部分。没有引导，AI 爬虫只能靠各种信号去推断质量，而这些信号未必能反映出你最好的内容。LLMs.txt 的作用就是让你明确标出：哪些页面才是你的规范、权威内容。

据报告，有 LLMs.txt 文件的网站，其重点页面被 AI 爬虫覆盖的速度要快于没有该文件的网站，因为 AI 爬虫可以立刻识别出文件中链接的内容并优先抓取。

此外，这个文件还能避免 AI 引擎收录低质量的旧内容、草稿页或内容单薄的页面，以免它们稀释你整体的权威信号。

LLMs.txt 文件格式

文件采用 Markdown 语法。下面是一个最简可用的示例：

# AI Rank Lab

> AI Rank Lab is a SaaS platform for optimizing website visibility in
> AI search engines (ChatGPT, Gemini, Perplexity, Claude) through AEO
> and GEO analysis, content optimization, and citation tracking.

## Core Documentation
- [AEO Complete Guide](/blog/what-is-aeo-complete-guide-answer-engine-optimization-2026): Comprehensive guide to Answer Engine Optimization
- [GEO vs SEO 2026](/blog/geo-vs-seo-2026-what-changed-what-stays-what-matters): Comparison of GEO and SEO strategies

## Product Documentation
- [Dashboard Overview](/docs/dashboard): How to use the AI Rank Lab dashboard
- [Citation Tracking](/docs/citation-tracking): Setting up citation monitoring

## Optional: Full Content
llms-full.txt: https://airanklab.com/llms-full.txt

分步配置：从零到上线

1. 创建文件：按照上面的 Markdown 格式，新建一个名为 llms.txt 的纯文本文件

2. 挑选 URL：选出你最权威、最有代表性的 10–30 个页面，比如支柱型文章、核心产品页、关键文档

3. 撰写说明：为每个 URL 写一句简洁、准确的说明，交代这个页面讲的是什么

4. 上传到根目录：把文件放在 yoursite.com/llms.txt（不要放在子目录里）

5. 检查能否访问：在浏览器中打开 yoursite.com/llms.txt，确认它可以公开访问，且 Content-Type 为 text/plain

6. 持续更新：每次发布新的重点内容或下线旧内容时，都要同步更新这个文件

各大 AI 平台的支持情况

LLMs.txt、robots.txt 与 sitemap.xml 一图看懂

LLMs.txt 进阶玩法

大型网站的分区组织

如果你的网站有超过 50 个高质量页面，建议把 LLMs.txt 按主题分成若干区块。AI 爬虫是从上往下处理这个文件的，所以最权威的内容要放在最前面：

# 你的网站名称

> 网站简介（最多 1–2 句话）

## 最重要的内容
- [URL 1](link): 最权威页面的说明
- [URL 2](link): 第二重要页面的说明

## 按主题：类别 A
- [URL 3](link): 说明
- [URL 4](link): 说明

## 按主题：类别 B
- [URL 5](link): 说明

配套文件 llms-full.txt

llms-full.txt 是一个可选的配套文件，里面是重点页面的完整 Markdown 正文。有了它，AI 系统不用逐个请求页面，就能一次性读取你的全部内容。它最适合以下场景：

• 文档类网站，Cursor、GitHub Copilot 这类 AI 工具会直接查询你的文档

• 用 React/Next.js 搭建或大量依赖 JavaScript 的网站，这类页面 AI 爬虫可能很难渲染

• 你希望 AI 系统掌握完整上下文的重点内容

常见 AI 爬虫对 LLMs.txt 的态度

怎么判断 LLMs.txt 有没有效果？

想知道你的 LLMs.txt 是否在起作用，可以从这几方面入手：

1. 分析服务器日志：查看是否有 AI 爬虫 user agent（GPTBot、ClaudeBot、PerplexityBot）请求 /llms.txt

2. 跟踪后续页面访问：在 LLMs.txt 被请求之后，看看文件中列出的 URL 有没有迎来爬虫访问，如果有，说明爬虫正在按文件指引抓取

3. 观察引用率变化：对比上线前后，LLMs.txt 中所列页面的 AI 引用率变化；效果一般要 4–8 周才会显现

4. 用 AI Rank Lab 监测：通过 AI Rank Lab 的爬虫活动仪表盘，直观看到哪些 AI 爬虫在访问哪些页面

LLMs.txt 常见错误

• 放在子目录里：文件必须放在 yoursite.com/llms.txt，而不是 yoursite.com/docs/llms.txt

• 塞进低质量内容：只列你最好的页面；把单薄或过时的内容放进去，只会削弱信号质量

• 从不更新：每次发布新的重点内容或弃用旧内容时，都应该更新 LLMs.txt

• Content-Type 设置错误：确保文件以 text/plain 而不是 text/html 返回

• 在 robots.txt 里把 LLMs.txt 屏蔽了：一不小心禁止了 AI 爬虫读取 LLMs.txt 本身，这个文件也就失去了意义

要点回顾

• LLMs.txt 由 Answer.AI 的 Jeremy Howard 于 2024 年提出，目前 GPTBot、ClaudeBot 和 PerplexityBot 都已支持

• robots.txt 负责限制访问，sitemap.xml 负责列出全部页面，而 LLMs.txt 是一份为 AI 系统精心挑选的正向指南

• 配置不到 30 分钟就能完成；日常维护只需在发布新的重点内容时偶尔更新

• 判断效果的方法：监控 AI 爬虫的服务器日志，并跟踪所列 URL 的引用率变化

• 配套文件 llms-full.txt 对文档类网站和大量依赖 JavaScript 的页面尤其有价值

想看详细的实操教程，可以参考我们的LLMs.txt 分步创建指南。想管理并监测 LLMs.txt 带来的效果，欢迎使用 AI Rank Lab。