LLMs.txtとは？AI時代のrobots.txtの書き方と設置方法を完全ガイド

検索エンジンがWebをクロールし始めたとたんにrobots.txtが欠かせない存在になったように、AIクローラーが大規模言語モデルの学習やリアルタイム検索のためにWebをインデックスする今、LLMs.txtが欠かせない存在になりつつあります。LLMs.txtは、ドメインのルートに置くMarkdown形式のシンプルなテキストファイルです。AIシステムを自社の優れたコンテンツへ明確に案内し、インデックスしてほしくないコンテンツからは遠ざける役割を果たします。

LLMs.txtとは？

LLMs.txtは、Answer.AI（Jeremy Howard氏ら）が2024年に提案したオープンな標準で、AIを意識する組織の間で急速に広まりました。ファイルはyoursite.com/llms.txtに置き、次のような内容を記載します。

• サイトの概要と目的の簡単な説明

• 厳選した重要URLのリストと、それぞれの1行説明

• コンテンツを種類やトピックごとに整理するセクション（任意）

• ページ全文を取り込みたいシステム向けのllms-full.txtへのリンク（任意）

allow/disallowの指示を使うrobots.txtと違い、LLMs.txtは「何を優先すべきか」を伝える前向きなガイドです。避けてほしいものだけでなく、優先してほしいものをAIシステムに伝えます。

LLMs.txtがAEOで重要な理由

AIクローラーが抱える課題は、従来のクローラーと同じです。サイトに何千ものページがあっても、質が高く信頼できるコンテンツはそのうちのごく一部にすぎません。何の手がかりもなければ、AIクローラーは品質を別のシグナルから推測するしかなく、そのシグナルが自社の最高のコンテンツを正しく捉えているとは限りません。LLMs.txtを使えば、どのページが正式で信頼できるコンテンツなのかを明示的に伝えられるので、この問題を解決できます。

LLMs.txtを設置したサイトでは、設置していないサイトと比べて、優先ページがAIクローラーにより早くカバーされると報告されています。AIクローラーがリンク先のコンテンツをすぐに特定して優先できるためです。

また、古くて質の低いコンテンツ、下書きページ、内容の薄いページがAIエンジンにインデックスされ、サイト全体の信頼性シグナルが薄まるのを防ぐ効果もあります。

LLMs.txtのファイル形式

ファイルはMarkdown記法で書きます。最小限の動作例は次のとおりです。

# AI Rank Lab

> AI Rank Lab is a SaaS platform for optimizing website visibility in
> AI search engines (ChatGPT, Gemini, Perplexity, Claude) through AEO
> and GEO analysis, content optimization, and citation tracking.

## Core Documentation
- [AEO Complete Guide](/blog/what-is-aeo-complete-guide-answer-engine-optimization-2026): Comprehensive guide to Answer Engine Optimization
- [GEO vs SEO 2026](/blog/geo-vs-seo-2026-what-changed-what-stays-what-matters): Comparison of GEO and SEO strategies

## Product Documentation
- [Dashboard Overview](/docs/dashboard): How to use the AI Rank Lab dashboard
- [Citation Tracking](/docs/citation-tracking): Setting up citation monitoring

## Optional: Full Content
llms-full.txt: https://airanklab.com/llms-full.txt

設置の手順

1. ファイルを作成する：上記のMarkdown形式で、llms.txtという名前のプレーンテキストファイルを作成します。

2. URLを選ぶ：ピラー記事、主要な製品ページ、中核となるドキュメントなど、最も信頼性が高く代表的なページを10〜30件選びます。

3. 説明文を書く：各URLに、そのページで何を扱っているかを示す簡潔で正確な1行説明を付けます。

4. ルートにアップロードする：ファイルはサブディレクトリではなくyoursite.com/llms.txtに置きます。

5. アクセスを確認する：ブラウザでyoursite.com/llms.txtを開き、Content-Type: text/plainで公開アクセスできることを確認します。

6. 常に最新に保つ：優先度の高いコンテンツを新しく公開したときや、古いコンテンツを終了したときは、そのつどファイルを更新します。

各AIプラットフォームの対応状況

LLMs.txt・robots.txt・sitemap.xmlの違いを整理

LLMs.txtの応用テクニック

大規模サイトはセクションで整理する

質の高いページが50件を超えるサイトでは、LLMs.txtをテーマ別のセクションに分けて整理しましょう。AIクローラーはファイルを上から順に処理するので、最も信頼性の高いコンテンツを先頭に置きます。

# サイト名

> サイトの簡単な説明（最大1〜2文）

## 最も重要なコンテンツ
- [URL 1](link): 最も信頼性の高いページの説明
- [URL 2](link): 2番目に重要なページの説明

## トピック別：カテゴリーA
- [URL 3](link): 説明
- [URL 4](link): 説明

## トピック別：カテゴリーB
- [URL 5](link): 説明

補完ファイル「llms-full.txt」

llms-full.txtは、主要ページのMarkdown全文を収めた任意の補完ファイルです。これがあれば、AIシステムはページを1つずつリクエストしなくても、コンテンツを丸ごと取り込めます。特に効果が大きいのは次のようなケースです。

• CursorやGitHub CopilotなどのAIツールがドキュメントを参照するドキュメントサイト

• React/Next.jsなどJavaScriptを多用していて、AIクローラーがレンダリングしにくいページを持つサイト

• AIシステムに完全な文脈ごと把握してほしい、優先度の高いコンテンツ

主なAIクローラーとLLMs.txtへの対応

LLMs.txtの効果を測定する方法

LLMs.txtが機能しているかどうかは、次の方法で確かめられます。

1. サーバーログを分析する：AIクローラーのユーザーエージェント（GPTBot、ClaudeBot、PerplexityBot）から/llms.txtへのリクエストがあるか確認します。

2. その後のページ訪問を見る：LLMs.txtへのリクエストのあと、リストに載せたURLにクローラーが訪れているか確認します。訪れていれば、ファイルの案内どおりに巡回されているサインです。

3. 引用率の変化を追う：LLMs.txtに載せたページのAI引用率を、設置の前後で追跡します。効果が表れるまでには4〜8週間ほどのタイムラグを見込んでおきましょう。

4. AI Rank Labでモニタリングする：AI Rank Labのクローラーアクティビティダッシュボードを使えば、どのAIクローラーがどのページにアクセスしているかを可視化できます。

LLMs.txtでよくある間違い

• サブディレクトリに置いてしまう：ファイルはyoursite.com/docs/llms.txtではなく、必ずyoursite.com/llms.txtに置きます。

• 質の低いコンテンツまで載せる：載せるのは最高のページだけにしましょう。内容が薄いページや古いページを含めると、シグナルの質が下がります。

• 一度作ったきり更新しない：優先度の高いコンテンツを新しく公開したときや、古いコンテンツを廃止したときは、LLMs.txtも更新する必要があります。

• Content-Typeが間違っている：ファイルがtext/htmlではなくtext/plainで配信されているか確認します。

• robots.txtでLLMs.txtをブロックしている：AIクローラーがLLMs.txt自体を読めないようにうっかりブロックしてしまうと、ファイルを置く意味がなくなります。

まとめ

• LLMs.txtはAnswer.AIのJeremy Howard氏が2024年に提案したもので、現在はGPTBot、ClaudeBot、PerplexityBotが対応しています。

• アクセスを制限するrobots.txtや、全ページを列挙するsitemap.xmlと違い、LLMs.txtはAIシステム向けに厳選した前向きなガイドです。

• 設置は30分もかかりません。運用は、優先度の高いコンテンツを新しく公開したときにときどき更新するだけです。

• 効果は、AIクローラーのサーバーログを監視し、リストに載せたURLの引用率の変化を追うことで測定できます。

• 補完ファイルのllms-full.txtは、ドキュメントサイトやJavaScriptを多用したページで特に役立ちます。

実装の詳しい手順は、LLMs.txt作成のステップバイステップガイドをご覧ください。LLMs.txtの効果の管理とモニタリングにはAI Rank Labをご活用ください。