LLMs.txtのベストプラクティス：AIクローラーに正しくコンテンツを読ませる方法

LLMs.txtファイルは設置済み。でも、それはきちんと機能しているでしょうか？ファイルを作ったきり一度も見直さないサイトは少なくありません。ただ、最低限の実装で終わるか、AIでの引用率を目に見えて伸ばせるかを分けるのは、その後の継続的な最適化です。ここで紹介するベストプラクティスは、成果を上げているAEO（アンサーエンジン最適化）の実装に共通するパターンをまとめたものです。

許可するAIクローラーは意図をもって選ぶ

すべてのAIクローラーを同じように扱う必要はありません。そもそもどのAIクローラーにサイトへのアクセスを許可するかはrobots.txtで管理し、許可したクローラーを優良コンテンツへ案内する役割をLLMs.txtに持たせましょう。

法的またはビジネス上の明確な理由がない限り、AIクローラーはブロックしないでください。ブロックしたクローラーの数だけ、自社コンテンツが引用されないAIプラットフォームが増えることになります。

AIの役に立つ説明文を書く

LLMs.txtで各URLに添える1行の説明文は、多くのサイトが思っている以上に重要です。AIシステムはこの説明文を手がかりに、そのページが特定のクエリに対して取得すべき関連ページかどうかを判断します。説明文が弱いと、せっかくのチャンスを逃してしまいます。

• 弱い例：- [Guide](/guide): Our guide to AEO

• 強い例：- [Complete AEO Guide](/guide): Definitive 3,000-word guide covering AEO definition, how AI engines select sources, content formatting for citations, and a 7-step getting-started checklist

説明文には、扱っている具体的なテーマ、想定読者、読者が何を学べるか・何ができるようになるか、そしてそのページならではのデータや視点を盛り込みましょう。

AIが理解しやすいセクション構成にする

AIシステムはLLMs.txtのセクションを読み取って、サイト内コンテンツの分類体系を把握します。汎用的な見出しではなく、内容が具体的に伝わる見出しを使いましょう。

• ## Blog ではなく → ## AEO & GEO Strategy Guides

• ## Docs ではなく → ## AI Rank Lab Platform Documentation

• ## Resources ではなく → ## Original Research & Data Reports

見出しを具体的にすると、AIシステムがLLMs.txtの内容を関連するクエリの種類と結びつけやすくなり、引用の精度が上がります。

掲載するコンテンツの選び方

LLMs.txtで最も影響が大きいのは、どのURLを載せるかの判断です。次の原則に沿って選びましょう。

1. 本当にベストなページだけを載せる：専門性の80%を体現している、上位20%のコンテンツです

2. 回答密度の高いコンテンツを優先する：複数の質問に直接答えているページは、AIの検索・取得で成果を出しやすくなります

3. 独自データの出典ページを入れる：独自データや統計を含むページは、AIエンジンにとって引用の宝庫です

4. 薄いコンテンツや古いコンテンツは外す：500語未満のページや情報が大きく古くなったページは、権威性のシグナルを弱めます

5. 重複・ほぼ重複のページは載せない：AIシステムは、複数のURLで同じ内容を繰り返しているように見えるサイトを低く評価します

LLMs.txtでやりがちな失敗

• URLを載せすぎる：200件ものURLが並ぶLLMs.txtは、AIシステムには「質より量」に見えます。上限は30件を目安にしましょう

• 説明文があいまい：一語だけ、またはぼんやりした説明文では、AIシステムが関連性を理解する助けになりません

• リンク切れ：404エラーを返すURLを載せると、クロールバジェットを無駄にし、サイトの管理が行き届いていないというシグナルにもなります

• 一度も更新しない：12か月前に作ったまま古いコンテンツを指しているLLMs.txtは、権威性のシグナルをはっきりと損ないます

• 設置場所が違う：ルートではなくサブディレクトリ（例：/static/llms.txt）に置くと、標準仕様に従うAIクローラーに見つけてもらえません

AIシステム向けのクロールバジェット最適化

AIクローラーのクロールバジェットには限りがあり、訪問のたびにサイト全体をインデックスすることはできません。LLMs.txtを使えば、そのクロールバジェットを最優先のコンテンツにできるだけ多く振り向けられます。押さえておきたいポイントは次のとおりです。

• 順番が大事：最も重要なURLはLLMs.txtの先頭に置きましょう。AIクローラーがバジェットの上限に達しても、重要なページから先にインデックスされます

• リダイレクトを避ける：LLMs.txtには正規の最終URLを記載します。リダイレクトチェーンはクロールバジェットを浪費し、AIクローラーを混乱させるおそれがあります

• ページを表示しやすく保つ：掲載ページは2秒以内に読み込まれるようにしましょう。表示の遅いページは、最後までクロールされにくくなります

• robots.txtと整合させる：LLMs.txtに載せたURLがrobots.txtでブロックされていないか確認しましょう。ブロック中のURLをLLMs.txtに載せると、矛盾したシグナルを送ることになります

サイトのタイプ別LLMs.txtの考え方

応用編：LLMs-Full.txt戦略

AIツールがドキュメントや主要コンテンツに頻繁にアクセスするサイト（開発者向けツール、教育プラットフォームなど）では、llms-full.txtの作成も検討しましょう。このファイルには最重要ページの全文がMarkdown形式で収められ、AIシステムはページごとにリクエストしなくてもコンテンツ全体を取り込めます。報告されているメリットは次のとおりです。

• AIコーディングアシスタント（Cursor、GitHub Copilot）が、HTTPリクエストなしでドキュメントを直接参照できる

• JavaScriptを実行できないAIシステムで起きるレンダリングの問題を解消できる

• URLと説明文だけよりも、豊かなコンテキストを提供できる

最重要ページ上位5～10件を、Markdownとして全文を書き出したllms-full.txtを別途用意し、継続的に管理しましょう。

LLMs.txtの効果を測定する

LLMs.txtの効果は、次の3つの観点から測定します。

1. サーバーログの分析：/llms.txtへのリクエストと、その後AIクローラー（GPTBot、ClaudeBot、PerplexityBot）が掲載URLを訪れているかを追跡します。訪問が増えていれば、ファイルが参照されているサインです

2. 引用率のトラッキング：掲載URLの引用率を導入前後で比較します。効果が出るまでには4～8週間のタイムラグを見込みましょう。しっかり実装されたファイルなら、15～35%の改善が目安です

3. カバー範囲の広さ：AI Rank Labでより幅広いクエリをテストし、導入後にAIの回答に登場する自社コンテンツが増えたかを確認します

まとめ

• URLを並べるだけより、具体的で情報量のある説明文のほうが価値があります。各ページが何に答えているのかをAIシステムに伝えましょう

• 内容が伝わるセクション見出し（「Blog」や「Docs」だけではないもの）は、AIシステムがコンテンツを関連するクエリの種類と結びつける助けになります

• 法的に必要な場合を除き、AIクローラーはブロックしないこと。ブロックしたクローラーの数だけ、ブランドが引用されないプラットフォームが増えます

• LLMs.txtとrobots.txtは整合させましょう。2つのファイルが矛盾すると、どちらの効果も損なわれます

• LLMs.txtは少なくとも四半期に1回は更新し、コンテンツ公開のワークフローに組み込んで常に最新の状態を保ちましょう

AI Rank Labのテクニカル監査では、LLMs.txtファイルを自動で検証し、掲載したすべてのURLの引用率を追跡できます。無料の監査を始めて、あなたのLLMs.txtがどれだけ成果を出しているかを確認してみてください。