LLMs.txt: Die neue robots.txt für KI – Anleitung zur Einrichtung

Die robots.txt wurde in dem Moment unverzichtbar, in dem Suchmaschinen anfingen, das Web zu crawlen. Genauso wird jetzt die LLMs.txt unverzichtbar, denn KI-Crawler durchsuchen das Web für das Training großer Sprachmodelle und für den Abruf in Echtzeit. Dahinter steckt eine einfache Textdatei im Markdown-Format, die im Stammverzeichnis deiner Domain liegt und KI-Systemen gezielt den Weg zu deinen besten Inhalten zeigt – und weg von Inhalten, die du nicht indexiert haben möchtest.

Was ist die LLMs.txt?

Die LLMs.txt ist ein offener Standard, den Answer.AI (Jeremy Howard u. a.) 2024 vorgeschlagen hat und den KI-affine Unternehmen schnell übernommen haben. Die Datei liegt unter yoursite.com/llms.txt und enthält:

• Eine kurze Beschreibung deiner Website und ihres Zwecks

• Eine kuratierte Liste deiner wichtigsten URLs mit je einer einzeiligen Beschreibung

• Optionale Abschnitte, die Inhalte nach Typ oder Thema ordnen

• Einen optionalen Link auf eine llms-full.txt für Systeme, die den kompletten Seiteninhalt einlesen wollen

Anders als die robots.txt, die mit Allow- und Disallow-Anweisungen arbeitet, ist die LLMs.txt ein positiver Wegweiser: Sie sagt KI-Systemen, was sie priorisieren sollen, und nicht nur, was sie meiden sollen.

Warum die LLMs.txt für AEO wichtig ist

KI-Crawler stehen vor demselben Problem wie früher klassische Crawler: Eine Website hat vielleicht Tausende Seiten, aber nur ein Bruchteil davon ist hochwertiger, maßgeblicher Content. Ohne Orientierung müssen KI-Crawler die Qualität aus Signalen ableiten, die deine besten Inhalte womöglich gar nicht erfassen. Die LLMs.txt löst das, weil du damit ausdrücklich markierst, welche Seiten deine kanonischen, maßgeblichen Inhalte sind.

Websites mit einer LLMs.txt berichten, dass KI-Crawler ihre Prioritätsseiten schneller erfassen als bei Websites ohne diese Datei, weil die Crawler die verlinkten Inhalte sofort erkennen und priorisieren können.

Außerdem hilft die Datei zu verhindern, dass KI-Engines minderwertige Altinhalte, Entwürfe oder Thin Content indexieren, die dein gesamtes Autoritätssignal verwässern könnten.

So ist eine LLMs.txt aufgebaut

Die Datei nutzt Markdown-Syntax. Hier ein minimales, funktionierendes Beispiel:

# AI Rank Lab

> AI Rank Lab is a SaaS platform for optimizing website visibility in
> AI search engines (ChatGPT, Gemini, Perplexity, Claude) through AEO
> and GEO analysis, content optimization, and citation tracking.

## Core Documentation
- [AEO Complete Guide](/blog/what-is-aeo-complete-guide-answer-engine-optimization-2026): Comprehensive guide to Answer Engine Optimization
- [GEO vs SEO 2026](/blog/geo-vs-seo-2026-what-changed-what-stays-what-matters): Comparison of GEO and SEO strategies

## Product Documentation
- [Dashboard Overview](/docs/dashboard): How to use the AI Rank Lab dashboard
- [Citation Tracking](/docs/citation-tracking): Setting up citation monitoring

## Optional: Full Content
llms-full.txt: https://airanklab.com/llms-full.txt

Einrichtung Schritt für Schritt

1. Datei anlegen: Erstelle eine reine Textdatei namens llms.txt im oben gezeigten Markdown-Format

2. URLs auswählen: Wähle deine 10–30 maßgeblichsten und repräsentativsten Seiten aus – Pillar-Beiträge, wichtige Produktseiten, zentrale Dokumentation

3. Beschreibungen schreiben: Ergänze zu jeder URL eine knappe, zutreffende Beschreibung in einer Zeile, die erklärt, worum es auf der Seite geht

4. Ins Stammverzeichnis hochladen: Lege die Datei unter yoursite.com/llms.txt ab (nicht in einem Unterverzeichnis)

5. Zugriff prüfen: Ruf yoursite.com/llms.txt im Browser auf und prüfe, ob sie öffentlich erreichbar ist und mit Content-Type: text/plain ausgeliefert wird

6. Aktuell halten: Aktualisiere die Datei, sobald du neue wichtige Inhalte veröffentlichst oder alte Inhalte entfernst

Welche Plattformen die LLMs.txt unterstützen

LLMs.txt vs. robots.txt vs. sitemap.xml: der Gesamtüberblick

Fortgeschrittene Strategien für die LLMs.txt

Abschnitte für große Websites

Hat deine Website mehr als 50 hochwertige Seiten, gliederst du deine LLMs.txt am besten in thematische Abschnitte. KI-Crawler lesen die Datei von oben nach unten – deine maßgeblichsten Inhalte gehören also nach ganz oben:

# Name deiner Website

> Kurze Beschreibung der Website (maximal 1–2 Sätze)

## Wichtigste Inhalte
- [URL 1](link): Beschreibung der maßgeblichsten Seite
- [URL 2](link): Beschreibung der zweitwichtigsten Seite

## Nach Thema: Kategorie A
- [URL 3](link): Beschreibung
- [URL 4](link): Beschreibung

## Nach Thema: Kategorie B
- [URL 5](link): Beschreibung

Die Begleitdatei llms-full.txt

Die llms-full.txt ist eine optionale Begleitdatei mit dem vollständigen Markdown-Text deiner wichtigsten Seiten. So können KI-Systeme deine kompletten Inhalte einlesen, ohne jede Seite einzeln abzurufen. Am meisten bringt sie:

• Dokumentations-Websites, deren Docs KI-Tools wie Cursor und GitHub Copilot abfragen

• Websites mit React/Next.js oder JavaScript-lastigen Seiten, die KI-Crawler womöglich nur schwer rendern können

• Besonders wichtigen Inhalten, die KI-Systeme im vollständigen Kontext vorliegen haben sollen

Bekannte KI-Crawler und wie sie mit der LLMs.txt umgehen

So misst du, ob deine LLMs.txt wirkt

Ob deine LLMs.txt funktioniert, findest du so heraus:

1. Server-Logs auswerten: Prüfe, ob KI-Crawler-User-Agents (GPTBot, ClaudeBot, PerplexityBot) /llms.txt abrufen

2. Folgebesuche beobachten: Schau nach, ob die gelisteten URLs nach den Abrufen der LLMs.txt Crawler-Besuche bekommen – das zeigt, dass die Datei befolgt wird

3. Veränderung der Zitierrate: Verfolge die KI-Zitierraten der in der LLMs.txt gelisteten Seiten vor und nach dem Livegang; rechne mit 4–8 Wochen Verzögerung, bis sich Effekte zeigen

4. Monitoring mit AI Rank Lab: Im Crawler-Aktivitäts-Dashboard von AI Rank Lab siehst du, welche KI-Crawler auf welche Seiten zugreifen

Typische Fehler bei der LLMs.txt

• Ablage in einem Unterverzeichnis: Die Datei muss unter yoursite.com/llms.txt liegen, nicht unter yoursite.com/docs/llms.txt

• Minderwertige Inhalte aufnehmen: Liste nur deine besten Seiten – Thin Content oder veraltete Inhalte verwässern die Qualität des Signals

• Nie aktualisieren: Die LLMs.txt sollte aktualisiert werden, sobald du neue wichtige Inhalte veröffentlichst oder alte Inhalte ausmusterst

• Falscher Content-Type: Achte darauf, dass die Datei als text/plain ausgeliefert wird, nicht als text/html

• LLMs.txt in der robots.txt blockieren: Sperrst du KI-Crawler versehentlich für die LLMs.txt selbst, ist die Datei nutzlos

Das Wichtigste in Kürze

• Die LLMs.txt wurde 2024 von Jeremy Howard von Answer.AI vorgeschlagen und wird inzwischen von GPTBot, ClaudeBot und PerplexityBot unterstützt

• Anders als die robots.txt (Zugriff beschränken) oder die sitemap.xml (alle Seiten auflisten) ist die LLMs.txt ein kuratierter, positiver Wegweiser für KI-Systeme

• Die Einrichtung dauert weniger als 30 Minuten; danach reicht es, die Datei gelegentlich zu aktualisieren, wenn du neue wichtige Inhalte veröffentlichst

• Die Wirkung misst du, indem du die Server-Logs auf KI-Crawler überwachst und die Veränderung der Zitierrate für die gelisteten URLs verfolgst

• Die Begleitdatei llms-full.txt lohnt sich besonders für Dokumentations-Websites und JavaScript-lastige Seiten

Eine ausführliche Anleitung zur Umsetzung findest du in unserer Schritt-für-Schritt-Anleitung zum Erstellen einer LLMs.txt. Die Wirkung deiner LLMs.txt verwaltest und überwachst du mit AI Rank Lab.