AIの回答はどれだけブレる？968回の繰り返し実行で見えた一貫性の実態

同じプロンプトに対するAIの回答は頻繁に変わります。そして、引用される情報源の変わり方は、言及されるブランドの変わり方よりもはるかに大きいのです。2026年2月13日から10月14日までにAI Rank Labでトラッキングした42組のプロンプト×エンジンを968回繰り返し実行したところ、42組中18組（42.9%）で、トラッキング対象ブランドが「言及される／されない」が少なくとも1回入れ替わりました。また、同じプロンプトを連続で2回実行したときの引用ドメインの重なりは、中央値でわずか0.41（Jaccard係数）でした。つまり、1回の実行結果は「測定値」ではなく、あくまで「サンプルの1つ」にすぎません。

本記事は自社データ（ファーストパーティデータ）による調査です。エンジン別の数値、調査方法とその限界、Profound、Otterly、SparkToro、ザンクトガレン大学の研究者が公開している調査結果との比較を紹介します。さらに、AIの可視性レポートで必ず突き当たる2つの疑問、「どのくらいの頻度でトラッキングすべきか」「変化を信用するには何回の実行が必要か」に実践的にお答えします。

何を、どのように測定したのか

測定したのは、同じエンジンで同じプロンプトを実行したときに、回答が実行ごとにどれだけ変わるかです。データは、AI Rank Labのブランド可視性トラッカーでの定期実行と手動実行から得ています。このトラッカーはユーザーのプロンプトをAIエンジンで実行し、トラッキング対象ブランドに言及があったか、回答がどのドメインを引用したかを記録します。開示：AI Rank Labは当社の製品であり、このデータも同製品で収集したものです。

調査パラメータ	値
対象期間	2026-02-13から2026-10-14までに成功した実行
対象条件	成功した実行が5回以上あるプロンプト×エンジンの組のみ
サンプル	42組のプロンプト×エンジン、968回の実行（1組あたり平均約23回）
条件を満たした組があるエンジン	Gemini（13組）、ChatGPT（11組）、Claude（11組）、Perplexity（6組）、Google AI Overview（1組）。Google AI Modeには実行5回以上の組がありませんでした。
ブランド	トラッキング中の12ドメインから抽出。主にマーケティング系とソフトウェア系のブランドです。顧客のドメイン名はここでは公開していません。
1組あたりの典型的な期間	ChatGPT、Claude、Geminiは中央値25.3日、Perplexityは12.8日、AI Overviewの1組は37.6日

指標は4つです。それぞれ組ごとに計算し、組全体の中央値（または件数）としてまとめました。

• 言及の入れ替わり：その組のすべての実行で、ブランドへの言及の有無が一致しなかったケースです。一度も入れ替わらなかった組は、「常に言及あり」か「一度も言及なし」のどちらかになります。
• 連続実行のJaccard係数：連続する2回の実行ごとに、共通する引用ドメインの数を、どちらかで引用された異なるドメインの総数で割った値です。1.0なら情報源リストが完全に一致、0なら重なりなし。組の中で平均し、その後、組全体の中央値を取りました。
• 毎回登場するドメイン：その組でこれまでに引用されたすべてのドメインのうち、すべての実行に登場したドメインの割合です。
• 全期間の異なるドメイン数と1回あたりの比：その組が全履歴で引用した異なるドメインの数を、1回の実行で平均して引用したドメインの数で割った値です。

実行は一般向けのチャットアプリではなく、各エンジンのAPIをWeb検索またはサーチグラウンディングを有効にした状態で使っています。また、回答を採点できるよう、採点用の指示にはトラッキング対象のブランド名を含めています。どちらも結果の解釈に影響するため、後ほど「限界」のセクションで改めて触れます。

同じプロンプトでも、AIの回答はどのくらい変わるのか

1回の実行ではほとんど何も分からない、と言えるほど頻繁に変わります。42組のうち18組（42.9%）でブランドへの言及が少なくとも1回入れ替わり、19組は毎回言及あり、5組は一度も言及がありませんでした。情報源の面では、同じプロンプトを連続で2回実行したとき、どちらかで引用されたドメインのうち共通していたのは中央値で41%。つまり、連続する2つの回答に出てくるドメインのおよそ5つに3つは、片方にしか登場していません。これが今回のサンプルにおけるAI回答の一貫性についての中心的な発見です。ブランドの判定はかなりの割合のプロンプトで不安定で、情報源リストはほぼすべてのプロンプトで不安定でした。

エンジン別の主な結果

エンジン	組数	実行回数	言及が入れ替わった組	常に言及あり／一度もなし	連続実行のJaccard係数（中央値）	毎回登場した引用ドメインの割合（中央値）	全期間の異なるドメイン数と1回あたりの比
Perplexity	6	224	4（66.7%）	2 / 0	0.59	3.8%	2.43倍
ChatGPT	11	239	6（54.5%）	1 / 4	0.54	7.7%	2.29倍
Claude	11	226	5（45.5%）	6 / 0	0.53	10.0%	2.61倍
Gemini	13	274	3（23.1%）	10 / 0	0.26	2.1%	3.50倍
Google AI Overview*	1	5	0（0%）	0 / 1	0.41	3.3%	2.63倍
全エンジン	42	968	18（42.9%）	19 / 5	0.41	3.5%	2.68倍

*実行5回の1組だけでは逸話レベルで、調査結果とは言えません。網羅性のために掲載しています。全エンジンのJaccard係数（0.41）が主要4エンジンのうち3つより低いのは、42組すべてをまとめた中央値であり、重なりの小さいGeminiの13組が全体を押し下げているためです。

最も一貫した回答を返すAIエンジンはどれか

どの「一貫性」を指すかによります。今回のデータでは、2種類の一貫性が正反対の傾向を示しました。

• 情報源が最も安定：Perplexity。連続実行の引用ドメインの重なりは中央値0.59で、全エンジン中で最高でした。ただし注意点があります。Perplexityの組は実行間隔が密で、中央値12.8日間に1組あたり約37回実行されています。他のエンジンは中央値25.3日間で約20〜22回です。実行間隔が短いほど変化が起きにくいため、Perplexityの数値はよく見えている可能性があります。
• ブランドの判定が最も安定：Gemini。13組のうち入れ替わったのは3組（23.1%）だけで、10組は毎回言及がありました。これはGeminiの特性というより、たまたまGeminiでトラッキングされていたプロンプトの構成によるものと考えていますが、今回のサンプルでは両者を切り分けられません。
• 情報源が最も不安定：Gemini。Jaccard係数は中央値0.26、毎回登場した引用ドメインはわずか2.1%、全期間の異なるドメイン数は典型的な1回の3.5倍でした。Geminiはブランド名を挙げ続けながら、参照するページはどんどん入れ替えていたことになります。
• 「常連」の情報源の割合が最も高い：Claude。Claudeがある組で引用したドメインのうち、中央値10%が毎回登場しました。主要4エンジンの中で最も高い数値です。
• ChatGPTは情報源の重なり（0.54）では中間で、ブランドに一度も言及しなかった組が最も多いエンジン（11組中4組）でした。

ブランドの言及は、引用元より安定しているのか

はい。今回のデータでは、42組中24組（常に言及ありの19組と、一度も言及なしの5組）がすべての実行で同じブランド判定でしたが、すべての実行に残った引用ドメインは中央値でわずか3.5%でした。公開されている研究も同じ傾向です。Otterlyの安定性調査では、30日間のうち1日しか登場しなかったブランドが12〜19%だったのに対し、引用元では最大67%にのぼりました。またザンクトガレン大学の論文では、日ごとのブランドのJaccard係数が0.45〜0.59だったのに対し、情報源は0.34〜0.42でした。数値を1つだけ報告するなら、「どのページが引用されたか」のスナップショットより、一定期間のブランド言及率のほうが安定しています。この2つに別々のKPIが必要な理由は、ブランド言及と引用の違いの解説記事で紹介しています。

なぜAIエンジンは同じ質問に違う答えを返すのか

AIの回答は一連のステップの最終結果であり、そのほぼすべてのステップにランダム性か、変化する入力が含まれているからです。下の表に主な要因と、トラッキング側でコントロールできるかどうかをまとめました。

変動の要因	変わるもの	根拠	トラッカーでコントロールできるか
トークンのサンプリングと推論の非決定性	言い回し、挙がるブランド、順序	Thinking Machinesは、temperature 0の同一リクエスト1,000件から80通りの異なる出力を得た	できない。一般向けアプリでは設定できない。
検索とクエリファンアウト	取得・引用されるページ	Googleによると、AI OverviewsとAI Modeはサブトピックにまたがる複数の関連検索を行うことがある	できない。繰り返しサンプリングするしかない。
インデックスとWebの変化	新しいページが入り、古いページが消える	Profoundの測定では、1か月で引用ドメインの40.5〜59.3%が入れ替わった	できない。これは本来見たい「実際の変化」。
モデルのアップデート	言及と情報源の両方が段階的に変わる	Profoundの報告では、1月から7月にかけてドリフトが70〜90%まで拡大	一部可能。モデルのバージョンを記録し、リリース日を注記する。
パーソナライズ、地域、メモリ	個々のユーザーに見えるもの	調査ではこれらを固定しているが、実際のユーザーはそうではない	一部可能。トラッキングでは地域と設定を固定する。
同じ企業の別プロダクト	情報源のセット全体	Ahrefsの調査では、AI ModeとAI Overviewsの引用の重なりは13.7%	可能。サーフェスごとに分けてトラッキングする。

サンプリング。言語モデルは次のトークンを確率分布から選ぶため、同じプロンプトでも違う文章が生成されます。temperatureを0にしても、ホスティングされたモデルが完全に再現可能になるわけではありません。Thinking Machines Labは、Qwen3-235Bでtemperature 0のまま同じプロンプトを1,000回実行し、80通りの異なる出力を得ました。原因は、計算結果がバッチサイズ、つまりサーバーの負荷に左右される推論カーネルにあると突き止めています。

検索（リトリーバル）。検索機能付きの回答は、エンジンが何を取得するかに左右されます。Google自身のAI機能に関するドキュメントでは、AI OverviewsとAI Modeは「クエリファンアウト」を使ってサブトピックにまたがる複数の関連検索を行うことがあり、2つの機能は「異なるモデルや手法を使用する場合があるため、表示される回答やリンクのセットは異なります」と説明しています。どのサブクエリが実行され、何が返ってくるかのわずかな違いで、引用リストは変わります。仕組みについてはクエリファンアウトの解説記事をご覧ください。

時間の経過による実際の変化。変動の一部は本物の変化です。新しいページが公開され、ランキングが動き、モデルがアップデートされます。Profoundのボラティリティ調査では、同じプロンプトでも2025年6月から7月の間に引用ドメインの40〜60%が入れ替わりました。その後の引用の半減期に関する調査では、引用されたページの中央値は、ピークから11日以内にピーク時の引用シェアの半分を失っていました。今回の調査期間は8か月にわたり、モデルのバージョンも固定していないため、観測された入れ替わりの一部はノイズではなく、こうした実際のドリフトです。

サーフェスの違い。同じ企業の中でもプロダクトによって違いがあります。Ahrefsが540,000組のクエリを比較したところ、AI ModeとAI Overviewsが同じURLを引用したのは13.7%にとどまりました。回答内容そのものは86%の割合で意味的に似ていたにもかかわらず、です。

Profound、Otterly、SparkToro、ザンクトガレン大学の結果と比べるとどうか

大筋では一致しています。情報源リストは激しく入れ替わり、ブランドの登場はそれより安定していて、単発のスナップショットは誤解を招く、という点です。下の表は公開されている数値を並べたものです。指標の定義がそれぞれ異なるため、小数点以下の数値ではなく傾向を比べてください。

調査	公開元	サンプル	比較できる結果
AI Rank Lab（本調査）	ベンダー（当社）	42組のプロンプト×エンジン、968回の実行、2026年2月〜10月	連続実行の引用ドメインのJaccard係数0.41、42.9%の組でブランド言及が入れ替わり
Don't Measure Once（Schulte、Bleeker、Kaufmann）	ザンクトガレン大学の研究者	スイスドイツ語のプロンプト32件、4エンジン、2026年1月〜3月の45〜46日間	日ごとの情報源のJaccard係数0.34〜0.42、24時間以内の繰り返しで0.32〜0.43、ブランドのJaccard係数0.45〜0.59
Otterly AIの安定性調査	ベンダー	520プロンプト、7エンジン、252,407件の回答、毎日実行	日ごとの情報源の再利用率はChatGPTとAI Modeで約26%、Perplexityで約75%
Profound：AI検索のボラティリティ	ベンダー	プラットフォームあたり約80,000プロンプト、2025年6月と7月の比較	1か月で引用ドメインの40.5%（Perplexity）〜59.3%（AI Overviews）が入れ替わり
Yotpo：AIの引用はどのくらい続くか	ベンダー	コマース系プロンプト、14週以上にわたり毎週実行	週ごとの引用の安定性はChatGPTで0.30、Geminiで0.24
SparkToroとGumshoe（Search Engine Journal経由）	SparkToroとトラッキングベンダー	ボランティアによるChatGPT、Claude、Google AIでの2,961回の実行	同じブランドリストになるのは100回に1回未満、ブランドの登場は順位より安定

この表の調査のうち、ザンクトガレン大学の論文以外はすべて、当社を含めAIの可視性トラッキングを販売している企業によるものです。当社を含めどこかが「もっとトラッキングが必要だ」と結論づけるときは、この点を頭に入れておく価値があります。

一致している点。今回の全体の情報源の重なり0.41は、ザンクトガレン大学の範囲（日ごとで0.34〜0.42）に収まっています。Perplexityが最も情報源の安定したエンジンだったことは、Otterly（日ごとの再利用率約75%）やProfound（月間ドリフトが最小の40.5%）と一致します。ブランドの登場が情報源より安定している点も、Otterly、ザンクトガレン大学、SparkToroと一致しています。

一致していない点。ザンクトガレン大学の24時間以内の繰り返し実行では、Geminiが最も情報源の安定したエンジン（Jaccard係数0.505）で、Perplexityは最も不安定な部類（0.282）でした。今回のランキングとは正反対です。彼らの実行はドイツ語で、スイスのサーバーから、数日間にわたって行われたものです。一方、今回のデータは主に英語のマーケティング系・ソフトウェア系プロンプトで、数週間にわたっています。安定性のエンジン別ランキングは、市場や設定が変われば当てはまりません。だからこそ、誰かの数値（当社のものも含めて）を借りるのではなく、エンジンごとに自社のベースラインを作るべきなのです。

Peec AIはどうか。2026年10月18日時点で、Peec AIが公開している繰り返し実行の安定性に関する数値は見つかりませんでした。同社の料金ページでは、トラッキングの範囲を「トラッキングするプロンプト数×有効なモデル数×トラッキング頻度」と説明し、可視性の概要は毎日トラッキングされるとしています。これは同じく期間ベースのアプローチを前提としていることを示しています。

AIの可視性は、1回のスナップショットで判断できるのか

できません。今回のサンプルでは、プロンプト×エンジンの組の43%が、たまたまどの回を見たかによって違うブランド判定になっていました。また、典型的な1回の実行では、その組が全期間で引用したドメインの半分にも遠く及びませんでした（異なるドメイン数の比2.68倍は、1回の実行がその組の最終的な情報源プールの約37%しか捉えていないことを意味します）。SparkToroのボランティア調査では、ChatGPTとGoogleのAIが同じブランドリストを返したのは100回に1回未満でした。スクリーンショットが証明するのは「その回答が一度あった」ということだけで、あなたの可視性を示すものではありません。

AIの可視性レポートは、スナップショットの代わりに何を示すべきか

期間ごとの割合です。「言及されたか？」ではなく、「直近N日間の何回の実行のうち、何割で言及されたか？」に置き換えましょう。以下は当社が推奨するレポートの設定で、今回のデータもこの方法で集めています。

1. プロンプトセットを固定する。エンジンごとにプロンプトのリストを固定し、分母が動かないようにします。プロンプトを変えると、ほとんどの実際の変化よりも大きく指標が変わってしまいます。Profoundの1日1回で十分かを検証したテストでは、プロンプトのポートフォリオの選び方が引用シェアに与える影響は、日々のドリフトよりおよそ1桁大きいという結果でした。
2. スケジュールに沿って実行する。一般的なデフォルトは毎日です。AI Rank Labでは、ChatGPT、Claude、Gemini、Perplexityに対して定期的なプロンプト実行が自動で行われ、すべての実行が保存されます。本記事のデータもこうして蓄積されました。
3. 期間内の言及率を報告する。言及があった実行回数を総実行回数で割った値を14〜28日間で出し、割合の横に実行回数を併記します。
4. 引用シェアは別に報告する。1回の実行ではなく期間全体で、自社のどのURLが引用されたかを追います。リストは入れ替わるものと考え、顔ぶれではなくシェアを見ましょう。方法の一例として、引用トラッカーをご覧ください。
5. エンジンは分けて見る。今回、エンジンによって安定性の種類が食い違っていました。合算したスコアではそれが見えなくなります。
6. モデルやプロダクトの変更を注記する。エンジンが新しいモデルをリリースしたら日付を記録し、段階的な変化をコンテンツの成果や失敗と取り違えないようにします。
7. 続いている変化にだけ対応する。連続する2つの期間で続き、かつ複数のプロンプトに現れた変化を、本物の変化として扱います。

チームでAIの可視性を1つの数値で管理しているなら、AEOスコアの測定方法のガイドで、その数値の裏に何があるべきかを解説しています。

変化を信用するには、何回の実行が必要か

多くのダッシュボードが示唆するより多く必要です。特に、プロンプト1つ単位で見る場合はなおさらです。言及率は割合なので、その不確実性は裏付けとなる実行回数が増えるほど小さくなります。下の表は、言及率50%（最も不確実性が大きいケース）に対する標準的な正規近似を使い、各実行が独立していると仮定したものです。実際の実行には相関があるため、これらは楽観的な最低ラインと考えてください。

期間内の実行回数	1つの割合の95%誤差（概算）	2つの期間の差がノイズを超えるのに必要な変化	例
5	±44ポイント	約62ポイント	プロンプト1つを5日間実行
10	±31ポイント	約44ポイント	プロンプト1つを10日間実行
20	±22ポイント	約31ポイント	プロンプト1つを約3週間毎日実行（今回の1組あたり平均23回に近い）
30	±18ポイント	約25ポイント	プロンプト1つを1か月間毎日実行
60	±13ポイント	約18ポイント	同じトピックのプロンプト2つを1か月間毎日実行
100	±10ポイント	約14ポイント	トピッククラスターのプロンプト群を、それぞれ数回ずつ実行

ここから2つのことが言えます。1つ目に、プロンプト1つの言及率が、3週間ずつの2つの期間で50%から65%に動いたとしても、それは十分ノイズの範囲内です。2つ目に、実行回数を増やすスマートな方法は、たいていの場合1つのプロンプトを何度も繰り返すことではなく、プロンプトの数を増やすことです。ザンクトガレン大学の論文も独自のデータから同様の結論に達しています。ブランドごとの検出率の標準誤差は、プロンプトあたり7回の実行で0.10を下回り、ローリング期間では10日で0.10未満、24日で0.05未満になりました。著者らが2〜4週間の期間を推奨しているのはこのためです。

毎日の繰り返し回数については、ベンダーのテストで結果が分かれていますが、測っているものが違います。Profoundは753プロンプトで、1日1回の実行が1日10回の実行と可視性で約2ポイント以内（78.7%対80.4%）に収まることを確認しました。Meikaiも500プロンプトで、1日1回の実行が10回の場合と同じ集計シグナルになることを確認しています。どちらも数百のプロンプトに基づくポートフォリオ単位の結果です。両者の折り合いはシンプルで、プロンプトセットが大きければ1日1回で十分。1つのプロンプトを診断するには、そのプロンプトを何度も実行する必要がある、ということです。

トラッキングするプロンプトはいくつ必要か

1つのプロンプトのクセで数値が左右されない程度の数が必要です。実際には、数件ではなくエンジンごとに数十件ということになります。Otterlyの調査では、プロンプトが10件の場合、ブランドのカバレッジ結果の90%が39%から71%の間でばらつきましたが、100件ではその幅が51%から60%に縮まり、ばらつきは約73%減りました。ザンクトガレン大学の著者らは、1つのキャンペーン内でもプロンプト単位のJaccard係数が0.2未満から0.8超まで幅があることを確認しています。今回のサンプルにも同じばらつきがあり、同じエンジン内でも、一度も入れ替わらない組もあれば何度も入れ替わる組もありました。

当社が考える実践的な最低ラインは、ブランド単位の数値を出すならエンジンごとに最低50件のプロンプトをトピッククラスターに分けて用意すること、そしてエンジンやセグメントを比較したいなら100件以上です。これは上記の調査を踏まえた判断であり、42組の今回のサンプルだけで証明できるものではありません。プロンプトの選び方は、数と同じくらい重要です。

AIの可視性は、どのくらいの頻度でトラッキングすべきか

プロンプトは毎日実行し、14〜28日間のローリング期間で報告しましょう。実行の頻度と報告の頻度は別の判断です。実行は期間をサンプルで埋められるだけの頻度が必要で、報告は1つの期間に意味のある回数の実行がたまるくらいゆっくりでなければなりません。今回のデータでは、ChatGPT、Claude、Geminiの組が中央値25日間で約20〜22回、つまりほぼ1日1回の実行を積み上げていましたが、それでもプロンプト1つ単位の言及率には大きな誤差が残りました。

状況	実行頻度	報告期間	注目すべき点
継続的なブランドモニタリング	毎日	ローリング28日間、毎週または毎月レビュー	エンジンごとの言及率と引用シェア
ローンチ、リブランディング、広報上の問題	毎日、影響のあるトピックのプロンプトを増やす	ローリング14日間	影響のあるプロンプトでの言及率とセンチメント
コンテンツ変更の検証	対象プロンプトで毎日	変更前14日間と変更後14日間（最低限）	変更したURLの期間全体での引用シェア
予算が限られている	期間を広げれば毎週でも可	8〜12週間	言及率の方向性のみ
重要なプロンプト1つの診断	1日に数回	1〜2週間	繰り返し登場する情報源と競合

何をなぜトラッキングするのか、全体像についてはAIの可視性トラッキングガイドをご覧ください。

この調査の限界

限界はたくさんあり、そこから読み取れることの範囲を決めています。

• 小規模で偏りのあるサンプル。42組、968回の実行で、トラッキング中の12ドメインはマーケティング系とソフトウェア系に偏っています。Perplexityは6組、Google AI Overviewは1組、Google AI Modeは0組です。6〜13組しかないエンジン別の割合は、1組で大きく変わり得ます。
• プロンプトはランダムサンプルではない。プロンプトはユーザーが自社ブランドをトラッキングするために選んだものです。Geminiの「常に言及あり」の多さ（13組中10組）は、この構成を反映している可能性が高いと考えています。
• 一般向けアプリではなくAPI。実行には各エンジンのAPIを使い、Web検索またはグラウンディングを有効にし、パーソナライズはなしの状態でした。ログインしたユーザーには、変動がより大きく、あるいはより小さく見える可能性があります。
• 採点用の指示にブランド名を含めている。これによりトラッカーが回答を採点できますが、何も指定しないチャットに比べて言及率の絶対値が上がる可能性があります。そのため本調査では、ブランドがどのくらい言及されるかではなく、安定性に焦点を当てています。
• 自動採点。言及と引用ドメインは回答テキストとその引用から自動で検出しており、すべての実行を人の目で確認したわけではありません。
• 不均一な実行間隔と固定されていないモデル。実行は決まった時刻に行われたわけではなく（Perplexityが最も密）、モデルのバージョンも全期間で固定されていなかったため、観測された入れ替わりにはノイズと実際のドリフトが混在しています。
• URLではなくドメイン単位、順位は分析対象外。重なりは引用ドメイン単位で測っており、URL単位より甘めの数値になります。また、回答内での掲載順位は分析していません。
• 有意性検定はしていない。これらは記述的な中央値と件数です。他の業界、言語、エンジンにそのまま当てはめないでください。

サンプルが増えたらこの分析をやり直し、同じ定義で更新した数値を公開する予定です。

まとめ

AIの回答の一貫性は、どの1回の実行も判断を誤らせ得るほど低く、情報源リストはブランドの言及よりはるかに大きく入れ替わります。解決策はスクリーンショットを増やすことではありません。プロンプトセットを固定し、毎日実行し、エンジンごとに2〜4週間の期間で、実行回数を添えて割合を報告することです。こうした仕組みを自前で作らずに整えたいなら、AI Rank Labのブランド可視性トラッキングがプロンプトを定期的に実行してすべての結果を保存するので、スナップショットではなくトレンドで判断できます。