AI 回答一致性研究：968 次重复运行提示词揭示了什么

同一个提示词，AI 给出的回答经常在变，而且它引用的来源变得比它提及的品牌还要频繁得多。2026 年 2 月 13 日至 10 月 14 日期间，我们在 AI Rank Lab 中追踪了 42 组“提示词 + 引擎”组合，共重复运行 968 次：其中 18 组（42.9%）至少有一次在“提及被追踪品牌”和“未提及”之间来回切换；同一提示词相邻两次运行的被引用域名重合度（Jaccard）中位数只有 0.41。说白了：单次运行只是一个样本，不是一次测量。

这是一项第一方数据研究。下文会给出分引擎的数据、研究方法及其局限，对比 Profound、Otterly、SparkToro 以及圣加仑大学研究人员已发表的成果，并实打实地回答每份 AI 可见性报告都绕不开的两个问题：该多久追踪一次？要跑多少次，才能相信一个变化是真的？

我们测了什么，怎么测的？

我们测量的是：同一个提示词在同一个引擎上，回答从一次运行到下一次运行会变化多少。数据来自 AI Rank Lab 品牌可见性追踪工具中的定时运行和手动运行。该工具会在各个 AI 引擎上运行用户的提示词，记录被追踪品牌是否被提及，以及回答引用了哪些域名。声明：AI Rank Lab 是我们的产品，这些数据也由它采集。

研究参数	取值
时间窗口	2026-02-13 至 2026-10-14 之间的成功运行
纳入规则	仅包含成功运行 5 次及以上的“提示词 + 引擎”组合
样本	42 组提示词-引擎组合，968 次运行（平均每组约 23 次）
有合格组合的引擎	Gemini（13 组）、ChatGPT（11 组）、Claude（11 组）、Perplexity（6 组）、Google AI Overview（1 组）。Google AI Mode 没有运行 5 次以上的组合。
品牌	来自 12 个被追踪域名，以营销和软件品牌为主。本文不公开任何客户域名。
每组的典型时间跨度	ChatGPT、Claude 和 Gemini 中位数为 25.3 天；Perplexity 为 12.8 天；唯一的 AI Overview 组合为 37.6 天

我们使用四个指标，每个指标先按组合计算，再在所有组合之间取中位数（或计数）汇总：

• 提及翻转：该组合各次运行对“品牌是否被提及”的判断并不一致。从未翻转的组合，要么“始终被提及”，要么“从未被提及”。
• 相邻运行 Jaccard：对每一对前后相邻的运行，用两者共同引用的域名数，除以两者合计引用的不同域名数。1.0 表示来源列表完全相同，0 表示毫无重合。我们先在组合内部取平均，再在所有组合之间取中位数。
• 每次都出现的域名：某组合引用过的全部域名中，在其每一次运行里都出现的域名所占比例。
• 跨运行不同域名数与单次运行之比：该组合在完整历史中引用的不同域名数，除以单次运行平均引用的域名数。

所有运行都通过各引擎的 API 进行，并开启网络搜索或搜索 grounding，而不是通过面向普通用户的聊天应用；评分指令中会写明被追踪的品牌，以便对回答打分。这两点都会影响对结果的解读，我们会在“局限性”一节再展开。

同一个提示词，AI 回答多久变一次？

变得足够频繁，频繁到单次运行几乎说明不了什么。在全部 42 组组合中，18 组（42.9%）至少翻转过一次品牌提及，19 组每次都被提及，5 组从未被提及。来源方面，同一提示词相邻两次运行共享的域名，中位数只占两次合计引用域名的 41%，也就是说，任意两次相邻回答中，大约五分之三的域名只在其中一次出现。这就是我们样本中关于 AI 回答一致性的核心发现：对相当一部分提示词来说，品牌结论不稳定；而对几乎所有提示词来说，来源列表都不稳定。

分引擎的主要发现

引擎	组合数	运行次数	出现提及翻转的组合	始终 / 从未被提及	相邻运行 Jaccard 中位数	每次都出现的被引用域名占比中位数	跨运行与单次运行的不同域名数之比
Perplexity	6	224	4（66.7%）	2 / 0	0.59	3.8%	2.43 倍
ChatGPT	11	239	6（54.5%）	1 / 4	0.54	7.7%	2.29 倍
Claude	11	226	5（45.5%）	6 / 0	0.53	10.0%	2.61 倍
Gemini	13	274	3（23.1%）	10 / 0	0.26	2.1%	3.50 倍
Google AI Overview*	1	5	0（0%）	0 / 1	0.41	3.3%	2.63 倍
全部引擎	42	968	18（42.9%）	19 / 5	0.41	3.5%	2.68 倍

*只有 5 次运行的单个组合只能算个例，不构成结论，列出来仅为完整起见。全部引擎的 Jaccard（0.41）低于四个主要引擎中的三个，是因为它取的是 42 组合并后的中位数，而 Gemini 的 13 组低重合组合把它拉低了。

哪个 AI 引擎的回答最一致？

这取决于你说的是哪一种一致性。在我们的数据里，两种一致性指向了相反的方向。

• 来源最一致：Perplexity。它相邻运行共享的被引用域名中位数为 0.59，是所有引擎中最高的。但有一点要注意：Perplexity 组合的运行更密集，每组约 37 次、时间跨度中位数 12.8 天；其他引擎大约是 20 到 22 次、跨度中位数 25.3 天。运行间隔越短，漂移的机会越少，这可能让它的数字更好看。
• 品牌结论最一致：Gemini。13 组中只有 3 组（23.1%）出现过翻转，10 组每次都被提及。我们认为这主要反映的是恰好在 Gemini 上追踪的提示词组合，而不是 Gemini 本身的特性，而我们的样本无法把两者区分开。
• 来源最不一致：Gemini。Jaccard 中位数 0.26，每次都出现的被引用域名只有 2.1%，长期累计的不同域名数是典型单次运行的 3.5 倍。Gemini 一直在提这个品牌，指向的页面却换个不停。
• “固定”来源占比最高：Claude。Claude 为一个组合引用的域名中，每次都出现的中位数占 10%，是四个主要引擎里最高的。
• ChatGPT 的来源重合度居中（0.54），从未提及品牌的组合最多（11 组中有 4 组）。

品牌提及比被引用来源更稳定吗？

是的。在我们的数据中，42 组里有 24 组（19 组始终被提及加 5 组从未被提及）每次运行的品牌结论都相同，而能挺过每一次运行的被引用域名，中位数只有 3.5%。已发表的研究也是这个结论：Otterly 的稳定性研究发现，在 30 天窗口内只出现过一天的品牌占 12% 到 19%，而被引用来源最高达 67%；圣加仑大学的论文测得品牌的逐日 Jaccard 为 0.45 到 0.59，来源则为 0.34 到 0.42。如果你只报告一个数字，那么一个时间窗口内的品牌提及率，比任何“哪些页面被引用了”的快照都更稳定。我们的解读文章品牌提及与引用的区别讲了为什么两者需要分开设 KPI。

为什么同一个问题，AI 引擎会给出不同的回答？

因为一个 AI 回答是一连串步骤的最终产物，而几乎每一步都带有一定的随机性，或者有不断变化的输入。下表列出了主要原因，以及追踪方案能否控制它们。

变化原因	改变了什么	证据	追踪工具能控制吗？
Token 采样与推理的非确定性	措辞、提到哪些品牌、排列顺序	Thinking Machines 发送 1,000 次相同的 temperature 0 请求，得到 80 个不同的输出	不能。面向普通用户的应用不开放这项设置。
检索与查询扇出（query fan-out）	抓取并引用哪些页面	Google 表示，AI Overviews 和 AI Mode 可能会围绕多个子主题发出多条相关搜索	不能。只能反复采样。
索引与网页变化	新页面进来，旧页面掉出	Profound 测得一个月内有 40.5% 到 59.3% 的被引用域名发生变化	不能。这是你本来就想看到的真实变化。
模型更新	提及和来源都出现阶跃式变化	Profound 报告称，从 1 月到 7 月漂移扩大到 70% 至 90%	部分可以。记录模型版本并标注上线时间。
个性化、地理位置、记忆	单个用户看到的内容	研究会固定这些变量，真实用户则不会	部分可以。在追踪中固定位置和设置。
同一家公司的不同产品	整套来源	Ahrefs 发现 AI Mode 与 AI Overviews 的引用重合度只有 13.7%	可以。每个界面分开追踪。

采样。语言模型按概率分布逐个选择下一个 token，所以同一个提示词可能生成不同的文本。即使把 temperature 设为 0，托管模型也做不到完全可复现：Thinking Machines Lab 在 Qwen3-235B 上以 temperature 0 把同一个提示词运行了 1,000 次，得到 80 个不同的输出，并把原因追溯到推理内核：其结果取决于批大小，也就取决于服务器负载。

检索。开启搜索的回答取决于引擎抓取了什么。Google 自己关于 AI 功能的文档写道，AI Overviews 和 AI Mode 可能使用“查询扇出”（query fan-out），围绕多个子主题发出多条相关搜索，而且这两个功能“可能使用不同的模型和技术，因此它们显示的回答和链接也会有所不同”。运行了哪些子查询、返回了什么，哪怕只有细微差别，都会改变引用列表。我们的查询扇出解读介绍了其中的机制。

随时间发生的真实变化。有些变化是真实的：新页面发布、排名变动、模型更新。Profound 的波动性研究发现，同样的提示词在 2025 年 6 月到 7 月之间，有 40% 到 60% 的被引用域名发生了变化；它后来的引用半衰期研究发现，被引用页面的引用份额在达到峰值后 11 天内就会掉一半（中位数）。我们的时间窗口横跨八个月，模型版本也没有固定，所以我们看到的部分更替属于这种真实漂移，而不是噪声。

不同的界面。即使是同一家公司，不同产品也不一样。Ahrefs 对比了 540,000 组查询，发现 AI Mode 和 AI Overviews 引用相同 URL 的比例只有 13.7%，尽管两者的回答在 86% 的情况下语义相近。

这些结果与 Profound、Otterly、SparkToro 和圣加仑大学的研究相比如何？

总体上是一致的：来源列表更替剧烈，品牌出现情况更稳定，单次快照会误导人。下表把已发表的数据放在一起对比。注意各研究的指标并不相同，所以要比较方向，而不是小数点。

研究	发布方	样本	可比结论
AI Rank Lab（本研究）	工具厂商（我们）	42 组提示词-引擎组合，968 次运行，2026 年 2 月至 10 月	相邻运行被引用域名 Jaccard 为 0.41；42.9% 的组合出现品牌提及翻转
Don't Measure Once（Schulte、Bleeker、Kaufmann）	圣加仑大学研究人员	32 个瑞士德语提示词，4 个引擎，2026 年 1 月至 3 月间的 45 到 46 天	来源逐日 Jaccard 为 0.34 到 0.42；24 小时内重复运行为 0.32 到 0.43；品牌 Jaccard 为 0.45 到 0.59
Otterly AI 稳定性研究	工具厂商	520 个提示词，7 个引擎，252,407 条回答，每日运行	ChatGPT 和 AI Mode 逐日沿用约 26% 的来源，Perplexity 约 75%
Profound：AI 搜索波动性	工具厂商	每个平台约 80,000 个提示词，2025 年 6 月对比 7 月	一个月内有 40.5%（Perplexity）到 59.3%（AI Overviews）的被引用域名发生变化
Yotpo：AI 引用能持续多久？	工具厂商	电商类提示词，每周运行，持续 14 周以上	每周引用稳定性 0.30（ChatGPT）和 0.24（Gemini）
SparkToro 与 Gumshoe（据 Search Engine Journal 报道）	SparkToro 联合一家追踪工具厂商	志愿者在 ChatGPT、Claude、Google AI 上运行 2,961 次提示词	品牌列表完全相同的情况不到 1/100；品牌出现与否比排列顺序更稳定

表中除圣加仑大学的论文外，每一项研究都出自销售 AI 可见性追踪服务的公司，我们也不例外。当其中任何一方（包括我们）得出“你需要更多追踪”的结论时，最好记住这一点。

一致之处。我们整体 0.41 的来源重合度，落在圣加仑大学的区间内（逐日 0.34 到 0.42）。Perplexity 是来源最稳定的引擎，这与 Otterly（逐日沿用约 75%）和 Profound（月度漂移最低，为 40.5%）相符。品牌出现比来源更稳定，也与 Otterly、圣加仑大学和 SparkToro 的结论一致。

分歧之处。在圣加仑大学 24 小时内的重复运行中，Gemini 是来源最稳定的引擎（Jaccard 0.505），Perplexity 则属于最不稳定之列（0.282），与我们的排名正好相反。他们的运行使用德语、来自瑞士的服务器、集中在几天之内；我们的则主要是英文的营销和软件类提示词，分散在数周之间。引擎的稳定性排名无法在不同市场和设置之间照搬，这也正是你应该按引擎建立自己的基线、而不是借用别人（包括我们）结论的原因。

Peec AI 呢？截至 2026 年 10 月 18 日，我们没有找到 Peec AI 发布的重复运行稳定性数据。它的定价页面把追踪覆盖范围描述为“追踪的提示词数 × 启用的模型数 × 追踪频率”，并说明其可见性概览按天追踪，这意味着它采用的同样是基于时间窗口的方法。

单次 AI 可见性快照靠得住吗？

靠不住。在我们的样本里，43% 的提示词-引擎组合会因为你恰好看到的是哪一次运行，而得出不同的品牌结论；而且典型的单次运行所显示的域名，远不到该组合长期引用域名的一半（2.68 倍的不同域名比，意味着一次运行大约只捕捉到该组合最终来源池的 37%）。SparkToro 的志愿者发现，ChatGPT 和 Google 的 AI 在 100 次运行中返回完全相同品牌列表的次数不到 1 次。一张截图只能证明某个回答出现过一次，并不能说明你的可见性。

AI 可见性报告不看快照，该看什么？

看时间窗口内的比率。把“我们被提及了吗？”换成“过去 N 天里，在多少次运行中，我们被提及的比例是多少？”下面是我们推荐的报告方案，本文的数据也正是这样积累起来的：

1. 固定提示词集合。每个引擎保持一份稳定的提示词列表，让分母不变。更换提示词对指标的影响，比大多数真实变化都大；Profound 的“每天一次”测试发现，提示词组合的选择对引用份额的影响，比逐日漂移大约高一个数量级。
2. 按计划定时运行。每天运行是常见的默认做法。在 AI Rank Lab 中，定时提示词运行会自动为 ChatGPT、Claude、Gemini 和 Perplexity 完成这件事，并保存每一次运行，本文的数据就是这样积累的。
3. 按窗口报告提及率。用被提及的运行次数除以总运行次数，统计 14 到 28 天，并在比率旁标出运行次数。
4. 单独报告引用份额。追踪你的哪些 URL 在整个窗口内被引用，而不是只看一次运行。要预期列表会不断更替；关注份额，而不是名单本身。我们的引用追踪工具就是一种做法。
5. 各引擎分开统计。我们的各个引擎在“哪种稳定”上表现各不相同，混合成一个分数会把这一点掩盖掉。
6. 标注模型和产品变化。引擎上线新模型时记下日期，以免把阶跃式变化误判为内容上的得失。
7. 只对持续的变化采取行动。只有当变化在两个相邻窗口中都存在、并且出现在不止一个提示词上时，才把它当作真实变化。

如果你的团队只用一个 AI 可见性数字，我们关于 AEO 分数如何衡量的指南解释了这个数字背后应该有哪些支撑。

要运行多少次，才能相信一个变化？

比大多数仪表盘暗示的要多，尤其是落到单个提示词层面时。提及率是一个比例，它的不确定性会随着背后运行次数的增加而缩小。下表采用标准正态近似，以 50% 的提及率（最坏情况）计算，并假设各次运行相互独立。真实的运行之间存在相关性，所以请把这些数字看作偏乐观的下限。

窗口内运行次数	单个比率的约 95% 误差范围	两个窗口之间需要多大变化才能超出噪声	示例
5	±44 个百分点	约 62 个百分点	一个提示词，运行 5 天
10	±31 个百分点	约 44 个百分点	一个提示词，运行 10 天
20	±22 个百分点	约 31 个百分点	一个提示词，每天运行约 3 周（接近我们每组平均 23 次）
30	±18 个百分点	约 25 个百分点	一个提示词，每天运行一个月
60	±13 个百分点	约 18 个百分点	同一主题的两个提示词，每天运行一个月
100	±10 个百分点	约 14 个百分点	一个主题集群的多个提示词，每个运行数次

由此可以得出两点。第一，单个提示词的提及率在两个三周窗口之间从 50% 变到 65%，完全在噪声范围之内。第二，想要更多运行次数，干净的做法通常是增加提示词，而不是让一个提示词反复跑。圣加仑大学的论文从自己的数据中得出了类似结论：单个品牌检出率的标准误差在每个提示词运行 7 次时降到 0.10 以下；采用滚动窗口时，单品牌误差在 10 天时降到 0.10 以下、在 24 天时降到 0.05 以下，这也是作者建议使用两到四周窗口的原因。

厂商的测试在“每天要不要多跑几次”上看法不同，但它们测量的是另一回事。Profound 在 753 个提示词上发现，每天运行一次与每天运行十次的可见性结果相差约 2 个百分点（78.7% 对 80.4%）；Meikai 在 500 个提示词上发现，每天 1 次和每天 10 次得到的汇总信号相同。两者都是背后有数百个提示词的整体层面结果。调和起来很简单：提示词集合足够大时，每天一次就够了；要诊断单个提示词，就得让它跑很多次。

需要追踪多少个提示词？

要多到任何单个提示词的偶然表现都左右不了总数，实际上这意味着每个引擎几十个，而不是寥寥几个。Otterly 发现，只用 10 个提示词时，90% 的品牌覆盖率结果散落在 39% 到 71% 之间；用到 100 个提示词时，范围收窄到 51% 到 60%，波动减少约 73%。圣加仑大学的作者看到，在同一个项目中，提示词层面的 Jaccard 从低于 0.2 到高于 0.8 不等。我们自己的样本也呈现同样的分散：在同一个引擎内，有的组合从未翻转，有的则反复翻转。

我们给出的实用下限是：要得到品牌层面的数字，每个引擎至少 50 个提示词，并按主题集群分组；如果想比较不同引擎或细分群体，则需要 100 个以上。这是参考上述研究做出的判断，单凭我们 42 组的样本无法独立证明。怎么选提示词，和选多少个同样重要。

AI 可见性应该多久追踪一次？

每天运行提示词，按滚动的 14 到 28 天窗口出报告。运行频率和报告频率是两个不同的决定：运行要足够频繁，才能用样本填满窗口；报告要足够慢，才能让一个窗口里有足够多的运行，数字才有意义。在我们的数据中，ChatGPT、Claude 和 Gemini 的组合在中位数 25 天内累计了约 20 到 22 次运行，接近每天一次，即便如此，单个提示词的提及率误差范围依然很宽。

场景	运行频率	报告窗口	关注什么
日常品牌监测	每天	滚动 28 天，每周或每月复盘	各引擎的提及率和引用份额
新品发布、品牌重塑或公关事件	每天，并在相关主题上增加提示词	滚动 14 天	相关提示词上的提及率和情感倾向
测试一次内容改动	目标提示词每天运行	改动前 14 天对比改动后 14 天，至少如此	被改动 URL 在整个窗口内的引用份额
预算紧张	拉长窗口的话，每周一次也可以接受	8 到 12 周	只看提及率的变化方向
诊断某个重要提示词	每天运行数次	1 到 2 周	哪些来源和竞争对手反复出现

想从更宏观的角度了解该追踪什么、为什么追踪，请看我们的 AI 可见性追踪指南。

这项研究有哪些局限？

局限不少，它们决定了你能从中得出多少结论。

• 样本小且不均衡。42 组组合、968 次运行，来自 12 个被追踪域名，偏重营销和软件领域。Perplexity 只有 6 组，Google AI Overview 1 组，Google AI Mode 没有。基于 6 到 13 组计算的分引擎百分比，可能因为一组数据就大幅摆动。
• 不是随机抽取的提示词。提示词是用户为追踪自家品牌而选的。Gemini “始终被提及”的数量偏高（13 组中有 10 组），很可能就是这种组合造成的。
• 用的是 API，而非面向普通用户的应用。运行通过各引擎的 API 进行，开启网络搜索或 grounding，且不做个性化。已登录的用户看到的变化可能更多，也可能更少。
• 评分指令中写明了品牌。这样追踪工具才能对回答打分，但与空白对话相比，这可能会抬高提及率的绝对值。因此我们关注的是稳定性，而不是品牌被提及的频率。
• 自动评分。提及和被引用域名是从回答文本及其引用中自动识别的；我们没有逐次人工核查。
• 运行间隔不均，模型版本未固定。运行并非按固定时钟进行（Perplexity 最密集），整个窗口内也没有固定模型版本，所以我们看到的更替是噪声与真实漂移的混合。
• 统计的是域名而非 URL，且不看排名。重合度按被引用域名计算，这比 URL 层面的重合度更宽松；我们也没有分析回答中的位置。
• 没有做显著性检验。这些都是描述性的中位数和计数。不要外推到其他行业、语言或引擎。

随着样本增长，我们会重新做这项分析，并按相同的定义发布更新后的数据。

结论

AI 回答的一致性低到任何一次运行都可能误导你，而来源列表的更替远比品牌提及剧烈。解决办法不是多截几张图，而是固定提示词集合、每天运行，并按引擎、以两到四周的窗口报告比率，同时标出运行次数。如果你想直接用上这套方案而不用自己搭建，AI Rank Lab 的品牌可见性追踪会按计划运行你的提示词并保留每一次运行，让你看的是趋势，而不是快照。