LLMs.txt 最佳实践：让对的 AI 爬虫抓取并索引你的内容

LLMs.txt 文件已经放上去了，可它真的在起作用吗？很多网站建好文件就再也没动过，错过了持续优化的机会，而恰恰是这一步，决定了它只是“有了”，还是能实实在在拉高 AI 引用率。下面这些最佳实践，总结自效果出色的 AEO 项目中反复出现的做法。

AI 爬虫该放行哪些？先想清楚再决定

不同的 AI 爬虫，不该一视同仁。用 robots.txt 决定哪些 AI 爬虫能访问你的网站，再用 LLMs.txt 把放行的爬虫引导到你最好的内容上。

除非有明确的法律或商业理由，否则不要屏蔽 AI 爬虫：每屏蔽一个爬虫，就等于放弃了一个能引用你内容的 AI 平台。

怎样写出真正对 AI 有用的描述？

LLMs.txt 里每个 URL 后面那一行描述，比大多数网站以为的重要得多。AI 系统会根据这些描述判断：面对某个查询，这个页面值不值得调取。描述写得敷衍，机会就白白浪费了：

• 弱： - [Guide](/guide): Our guide to AEO

• 强： - [Complete AEO Guide](/guide): Definitive 3,000-word guide covering AEO definition, how AI engines select sources, content formatting for citations, and a 7-step getting-started checklist

上面这个“强”示例，描述的是一份 3,000 词的权威指南，讲清 AEO 定义、AI 引擎如何挑选来源、如何为引用排版内容，并附 7 步入门清单的指南。描述里应当写明：具体讲什么主题、写给谁看、读者能学到什么或能做成什么，以及页面里有哪些独家数据或观点。

板块怎么分，AI 才看得懂？

AI 系统会通过 LLMs.txt 的各个板块来理解你的内容分类体系。板块标题要具体、有描述性，别用泛泛的叫法：

• 别用 ## Blog → 改用 ## AEO & GEO Strategy Guides（AEO 与 GEO 策略指南）

• 别用 ## Docs → 改用 ## AI Rank Lab Platform Documentation（AI Rank Lab 平台文档）

• 别用 ## Resources → 改用 ## Original Research & Data Reports（原创研究与数据报告）

标题越具体，AI 系统越容易把 LLMs.txt 里的内容对应到相关的查询类型上，引用也就更精准。

收录哪些内容？选页面的几条原则

选对 URL，是 LLMs.txt 里影响最大的一个决定。可以遵循以下原则：

1. 只放你最拿得出手的页面：也就是代表你 80% 专业能力的那前 20% 内容

2. 优先放“答案密度”高的内容：能直接回答多个问题的页面，在 AI 检索中表现更好

3. 收录原创数据来源：任何包含独家数据或统计的页面，对 AI 引擎来说都是“引用金矿”

4. 剔除单薄或过时的内容：不足 500 字、或信息明显过时的页面，会稀释你的权威信号

5. 跳过重复或近似重复的页面：AI 系统会对看起来在多个 URL 上重复内容的网站降权

LLMs.txt 最常见的几个坑

• 列的 URL 太多：一个塞了 200 个 URL 的 LLMs.txt，在 AI 系统眼里就是重数量、轻质量，建议最多 30 个

• 描述太笼统：一个词或含糊其辞的描述，帮不了 AI 系统判断相关性

• 死链：收录返回 404 的 URL，既浪费抓取预算，也在暗示网站疏于维护

• 从不更新：一份 12 个月前写的、还指向过时内容的 LLMs.txt，会实打实地拉低你的权威信号

• 位置放错：把文件放在子目录（例如 /static/llms.txt）而不是根目录，遵循标准的 AI 爬虫就发现不了它

如何为 AI 爬虫优化抓取预算？

AI 爬虫的抓取预算是有限的，不可能每次来访都把你的整站索引一遍。LLMs.txt 能帮你把这份预算尽量花在最高优先级的内容上。关键做法：

• 顺序很重要：把最重要的 URL 放在 LLMs.txt 最前面，这样即使 AI 爬虫用完了预算，最关键的页面也已经先被索引

• 避免重定向：LLMs.txt 里只用规范的最终 URL，重定向链会浪费抓取预算，还可能让 AI 爬虫“犯迷糊”

• 保证页面可访问：确保列出的页面加载时间在 2 秒以内，慢页面更难被完整抓取

• 与 robots.txt 保持一致：确保 LLMs.txt 里的 URL 没有在 robots.txt 中被屏蔽，否则就是自相矛盾的信号

不同类型的网站，LLMs.txt 怎么写？

进阶玩法：LLMs-Full.txt 策略

如果 AI 工具经常访问你的文档或核心内容（比如开发者工具、教育平台），可以考虑再建一个 llms-full.txt。这个文件收录你最重要页面的完整 Markdown 文本，AI 系统无需逐页请求，就能一次读完全部内容。已报告的好处包括：

• AI 编程助手（Cursor、GitHub Copilot）无需发起 HTTP 请求，就能直接引用你的文档

• 对无法执行 JS 的 AI 系统来说，彻底绕开了 JavaScript 渲染问题

• 比单纯的“URL + 描述”提供更丰富的上下文

单独维护一份 llms-full.txt，把你最重要的 5–10 个页面完整渲染成 Markdown 放进去。

怎么衡量 LLMs.txt 的效果？

可以从三个角度衡量 LLMs.txt 的效果：

1. 服务器日志分析：追踪 AI 爬虫（GPTBot、ClaudeBot、PerplexityBot）对 /llms.txt 的请求，以及之后对所列 URL 的访问。访问量上升，说明爬虫在按文件指引行事

2. 引用率追踪：对比所列 URL 在部署前后的引用率。效果通常有 4–8 周的滞后；实施得当的文件，可期待 15–35% 的提升

3. 覆盖广度：用 AI Rank Lab 测试更大范围的查询集，看看部署之后，你是否有更多内容出现在 AI 答案里

要点回顾

• 具体、信息量足的描述，比单纯罗列 URL 更有价值：要帮 AI 系统弄明白每个页面回答了什么问题

• 有描述性的板块标题（而不只是“Blog”或“Docs”），能帮 AI 系统把你的内容对应到相关的查询类型

• 除非法律要求，否则不要屏蔽 AI 爬虫：每屏蔽一个爬虫，你的品牌就少了一个能被引用的平台

• 让 LLMs.txt 与 robots.txt 保持一致：两个文件互相矛盾，等于两边都白费

• LLMs.txt 至少每季度更新一次；把它纳入内容发布流程，才能始终保持最新

AI Rank Lab 的技术审计会自动校验你的 LLMs.txt 文件，并追踪所有列出 URL 的引用率。立即开始免费审计，看看你的 LLMs.txt 表现如何。