llms.txt 之争:真信号,还是安慰剂?
自从 llms.txt 规范被提出,SEO 和 AEO 圈子就分成了两派。支持者认为,它能清楚地告诉 AI 系统你的网站是什么、覆盖哪些内容,这种结构化的指引很可能让 AI 在决定引用谁时偏向你。怀疑者则认为它太新,还谈不上实际影响,正式支持它的 AI 系统寥寥无几;而那些被归功于 llms.txt 的引用增长,其实是团队在部署它时顺手做的内容优化带来的。
我们不想再停留在猜测上。借助 AI Rank Lab 的引用追踪基础设施,我们分析了 500 个网站添加 llms.txt 前后的表现,在 90 天的时间窗口内追踪它们在 ChatGPT(GPT-4o)、Perplexity 和 Claude 3.5 Sonnet 上的引用率。我们还研究了引用大幅提升的网站和几乎没有变化的网站之间,到底差在哪里。
下面就是我们的发现,其中也包括与那些最乐观的 llms.txt 说法相矛盾的部分。
500 个网站的研究:我们是怎么做的
我们追踪了 500 个在六个月分析期内首次添加 llms.txt 的域名。所有域名都满足以下条件:
- 已开放 AI 爬虫访问(robots.txt 中允许 GPTBot、ClaudeBot、PerplexityBot)
- 在添加 llms.txt 之前,至少有 30 天的引用基线数据
- 在测量窗口内没有进行重大内容改动,也没有获得大量新外链
- 页面数量在 10 到 500 页之间(我们排除了特别小和特别大的网站,以减少干扰因素)
引用率的计算方式是:在回答该域名核心主题集群内的查询时,LLM 引用该域名的次数,占所测试查询总数的百分比。每个域名在每个 LLM 上测试 50 个查询,这些查询取自该域名的核心关键词集合。
这些网站覆盖 12 个行业:SaaS、电商、本地服务、B2B 服务、出版、医疗健康、法律、金融服务、教育、房地产、旅游和科技新闻。
发现一:llms.txt 能提升引用率,但不是对每个 LLM 都有效
在全部 500 个网站中,添加 llms.txt 后的 90 天里,平均引用率变化如下:
- Perplexity:平均引用率提升 +18%
- ChatGPT(开启 Browse 联网浏览):平均引用率提升 +12%
- Claude:平均引用率提升 +7%
- ChatGPT(未开启 Browse,GPT-4o 基础模型):+3%(不具统计显著性)
不同 LLM 之间的差异相当明显,而且无法完全用抓取行为的不同来解释。Perplexity 反应更强,很可能与它的实时联网搜索架构有关:它在生成回答时会主动利用结构化的指引文件。ChatGPT 的 Browse 模式(会抓取实时网页内容)有明显提升,而 GPT-4o 基础模型主要依赖训练数据,仅仅多一个文件,几乎看不出变化。
Claude 的提升属于中等水平,这与 Anthropic 公开的做法一致:ClaudeBot 会抓取并遵守指引文件,但 Claude 训练数据的更新周期比 Perplexity 的实时检索要长。提升是真实的,只是显现得更慢。
发现二:llms.txt 摘要写得好不好,才是关键
引用提升最大的那批网站(前四分之一,引用率平均提升 +31%)有一个共同点:它们的摘要引用块(blockquote)写得非常具体,把自身的差异化、目标受众和主题覆盖范围都讲得清清楚楚。
我们按五项标准给每个网站的 llms.txt 摘要打分:
- 受众明确度(这是给谁看的?)
- 差异化清晰度(这个网站有什么与众不同?)
- 主题覆盖完整度(这个网站讲哪些主题?)
- 权威信号(有没有任何可信度指标:数据、专业背景、方法论)
- 行动场景(读者能用这个网站做什么?)
在这套评分标准中得 4 到 5 分的网站,引用率平均提升 +27%;得 1 到 2 分的网站平均只有 +6%,几乎和噪声差不多。文件格式本身远没有摘要部分的内容质量重要。
高分摘要和低分摘要的对比示例:
低分(满足 1/5 项标准):
“Example Corp 为企业提供营销工具和资源。”
高分(满足 5/5 项标准):
“Example Corp 是一个 B2B 营销归因平台,被 2,000 多家中型 SaaS 企业使用,用来追踪来自暗社交渠道(LinkedIn、播客提及、社区论坛)的销售管线贡献,而这些正是基于 UTM 的常规归因所遗漏的。主要使用场景:市场副总裁(VP of Marketing)向董事会汇报无法追踪的销售管线;需求生成团队证明暗社交投入的合理性。”
这个高分示例点明了受众(中型 SaaS 企业的市场副总裁和需求生成团队)、差异化(暗社交归因)、权威性(2,000 多家企业)以及行动场景(董事会汇报、证明投入合理性)。AI 系统读到这样的描述后,当用户询问适合 SaaS 企业的营销归因工具时,就能准确地介绍这款产品。
发现三:页面列表带来长尾查询的引用增长
在 llms.txt 中加入详细页面列表(而不只是写摘要部分)的网站,在长尾查询上还获得了额外的引用提升。这里的长尾查询,指的是关于具体功能、使用场景,或列表中页面所涉及主题的查询。
这种效果在内部链接较少的页面上最明显。对于这些“孤立但重要”的页面,比如工具页、技术文档、细分领域指南,出现在 llms.txt 的页面列表里,是 AI 系统学会在相关查询中引用它们的主要途径。没有这份列表,这些页面即便内容很有价值,在 AI 引用中也基本处于隐身状态。
拥有 15 个以上描述清晰的页面列表的网站,长尾查询引用率提升了 +22%;而没有页面列表、或列表很简略且没有描述的网站,只提升了 +9%。
发现四:只靠 llms.txt 是不够的
最重要的负面发现是:robots.txt 屏蔽了 AI 爬虫的网站,添加 llms.txt 之后引用率零提升。这在意料之中,但值得明确说出来:如果 AI 爬虫进不了你的网站,llms.txt 帮不上任何忙。这个文件是给已经被放行的爬虫提供指引,它不会绕过访问限制。
同样,内容单薄或质量较差的网站,即使 llms.txt 写得再好,引用提升也微乎其微。AI 系统不会因为某个文件说内容重要,就去多引用劣质内容。这个文件改善的是 AI 系统理解和浏览你网站的方式,而内容本身依然得值得被引用。
想全面了解哪些因素驱动 AI 引用,可以看看这篇 AI 搜索优化指南。llms.txt 只是多个协同作用的信号之一,并不是一个独立的解决方案。
分行业看:哪些行业从 llms.txt 中获益最多
llms.txt 带来的引用提升在不同行业之间差异很大:
获益最高(平均提升 +20-35%)
- SaaS 和科技:AI 系统经常把软件产品归错类,或者描述得不准确。具体的 llms.txt 摘要能有效纠正这些错误描述。
- 金融服务:在缺乏明确权威信号的情况下,AI 系统对引用金融内容相当谨慎。如果 llms.txt 中包含监管资质、方法论说明或专业资格,引用率会有可量化的提升。
- 医疗健康:与金融服务的逻辑相同。对于真正具备专业能力的健康信息网站,摘要中的权威信号能大幅提升引用率。
中等获益(平均提升 +8-18%)
- B2B 服务:仅凭内容很难归类的复杂服务,能从明确的描述中获益,但提升幅度中等。
- 教育:清晰的主题覆盖描述,能帮助 AI 系统把教育内容与具体的学习类查询匹配起来。
- 出版和新闻:主要受益于内容新鲜度方面的指引(标明哪些栏目更新频繁),而不是摘要本身。
获益较低(平均提升 +3-8%)
- 电商:借助结构化数据(Product schema),AI 系统本来就能很好地理解商品页。如果 schema 已经很完整,llms.txt 带来的增量价值就比较小。
- 本地服务:本地服务的引用模式更多受评价数量和 NAP(名称、地址、电话)一致性的影响,而不是 llms.txt 的指引。
怀疑派说对了哪些
我们的数据也印证了一部分对 llms.txt 的质疑:
它不能保证被引用。即使是前四分之一的网站,提升也只是 +31%,而且是在原有基线上的增长。引用率 10% 的网站提升到了约 13%。这谈不上脱胎换骨,但会随着时间不断累积,是实实在在的进步。
内容优化更重要。我们对比了只添加 llms.txt 的网站,和同时提升内容质量(更好的 FAQ 答案、更具体的结构化数据)的网站。后者的引用提升是只加 llms.txt 那一组的 2.4 倍。llms.txt 能放大好内容的效果,但不能替代好内容。
不同 LLM 的反应并不一样。对 ChatGPT 的基础模型(未开启 Browse)来说,影响很小。如果你的目标查询主要由依赖训练数据、而非实时检索的模型来回答,那么 llms.txt 带来的提升会更慢,也更难衡量。
我们的建议
基于这些数据,我们的建议是:
- 还没部署 llms.txt 的话,赶紧加上:潜在收益是真实的,实施成本很低(做一份高质量文件只需 30-60 分钟),而且没有任何坏处
- 把摘要质量放在首位:70% 的引用提升都来自这里;把时间花在写一段具体、面向目标受众、有差异化的描述上
- 列出重要但内链不足的页面:尤其是工具页、文档,以及内部链接不多的专题指南
- 如果 AI 爬虫被屏蔽,先修好 robots.txt:网站被屏蔽时,llms.txt 毫无作用
- 与内容和 schema 优化结合起来:llms.txt 作为完整 AEO 策略的一部分时效果最好,而不是单独的补丁
你可以用 AI Rank Lab 的免费 llms.txt 生成器创建文件,再用完整审计工具检查现有的 llms.txt 格式是否规范,以及它能否与你的其他 AEO 信号协同发挥作用。
结论
llms.txt 对 AI 引用率有真实、可衡量的影响,尤其是在 Perplexity 和 ChatGPT Browse 上,尤其是对产品或服务复杂、容易被归错类的网站,也尤其是在摘要写得具体、有差异化的时候。这个文件不是魔法:它无法让劣质内容变得值得引用,也无法绕过被屏蔽的爬虫。但作为完整 AEO 策略中的一环,它完全对得起那 30 分钟的实施投入。
最重要的一点:llms.txt 摘要的质量,远比有没有这个文件更重要。泛泛的两句话描述几乎没什么用;而一段具体、面向目标受众、带有权威信号且差异化清晰的摘要,能在支持它的各个 LLM 上带来明显的引用提升。
Get a free AI ranking consultation
Want your brand to show up when ChatGPT, Gemini and Perplexity answer questions in your market? Tell us about your site and our team will send a personalized strategy.



