LLMs.txt: de nieuwe robots.txt voor AI – complete handleiding

Robots.txt werd onmisbaar op het moment dat zoekmachines het web begonnen te crawlen. Met LLMs.txt gebeurt nu hetzelfde, nu AI-crawlers het web indexeren voor de training van grote taalmodellen en voor het live ophalen van informatie. Het is een eenvoudig tekstbestand in Markdown-opmaak in de root van je domein, dat AI-systemen expliciet naar je beste content leidt en weg van content die je niet geïndexeerd wilt hebben.

Wat is LLMs.txt?

LLMs.txt is een open standaard die Answer.AI (Jeremy Howard e.a.) in 2024 voorstelde en die snel is overgenomen door organisaties die met AI bezig zijn. Het bestand staat op yoursite.com/llms.txt en bevat:

• Een korte beschrijving van je site en waar die voor dient

• Een zorgvuldig gekozen lijst van je belangrijkste URL's, elk met een beschrijving van één regel

• Optionele secties die content ordenen per type of onderwerp

• Een optionele link naar llms-full.txt voor systemen die de volledige pagina-inhoud willen inlezen

Robots.txt werkt met allow/disallow-regels. LLMs.txt is juist een positieve gids: het vertelt AI-systemen waar ze voorrang aan moeten geven, niet alleen wat ze moeten mijden.

Waarom LLMs.txt belangrijk is voor AEO

AI-crawlers lopen tegen hetzelfde probleem aan als traditionele crawlers: een site kan duizenden pagina's hebben, terwijl maar een klein deel daarvan echt sterke, gezaghebbende content is. Zonder sturing moeten AI-crawlers de kwaliteit afleiden uit signalen die je beste werk lang niet altijd goed vangen. LLMs.txt lost dat op: je geeft zelf expliciet aan welke pagina's je canonieke, gezaghebbende content zijn.

Websites met een LLMs.txt-bestand melden dat AI-crawlers hun prioriteitspagina's sneller crawlen dan bij sites zonder zo'n bestand, omdat de crawlers de gelinkte content direct kunnen herkennen en voorrang geven.

Het bestand helpt ook voorkomen dat AI-engines verouderde content van lage kwaliteit, conceptpagina's of dunne content indexeren, die je algehele autoriteitssignaal kunnen verwateren.

Het bestandsformaat van LLMs.txt

Het bestand gebruikt Markdown-syntax. Hier een minimaal, werkend voorbeeld:

# AI Rank Lab

> AI Rank Lab is a SaaS platform for optimizing website visibility in
> AI search engines (ChatGPT, Gemini, Perplexity, Claude) through AEO
> and GEO analysis, content optimization, and citation tracking.

## Core Documentation
- [AEO Complete Guide](/blog/what-is-aeo-complete-guide-answer-engine-optimization-2026): Comprehensive guide to Answer Engine Optimization
- [GEO vs SEO 2026](/blog/geo-vs-seo-2026-what-changed-what-stays-what-matters): Comparison of GEO and SEO strategies

## Product Documentation
- [Dashboard Overview](/docs/dashboard): How to use the AI Rank Lab dashboard
- [Citation Tracking](/docs/citation-tracking): Setting up citation monitoring

## Optional: Full Content
llms-full.txt: https://airanklab.com/llms-full.txt

Zo stel je LLMs.txt in, stap voor stap

1. Maak het bestand aan: maak een platte-tekstbestand met de naam llms.txt in het Markdown-formaat hierboven

2. Kies je URL's: selecteer je 10–30 meest gezaghebbende en representatieve pagina's: pijlerartikelen, belangrijke productpagina's, kerndocumentatie

3. Schrijf beschrijvingen: zet bij elke URL een korte, kloppende beschrijving van één regel over wat de pagina behandelt

4. Upload naar de root: plaats het bestand op yoursite.com/llms.txt (niet in een submap)

5. Controleer de toegang: open yoursite.com/llms.txt in je browser om te checken dat het openbaar bereikbaar is, met Content-Type: text/plain

6. Houd het actueel: werk het bestand bij zodra je nieuwe content met hoge prioriteit publiceert of oude content offline haalt

Welke platforms ondersteunen het?

LLMs.txt vs. robots.txt vs. sitemap.xml: het complete plaatje

Geavanceerde strategieën voor LLMs.txt

Secties indelen voor grote sites

Heeft je site meer dan 50 sterke pagina's, deel je LLMs.txt dan op in thematische secties. AI-crawlers verwerken het bestand van boven naar beneden, dus zet je meest gezaghebbende content bovenaan:

# Naam van je site

> Korte beschrijving van de site (maximaal 1–2 zinnen)

## Belangrijkste content
- [URL 1](link): Beschrijving van de meest gezaghebbende pagina
- [URL 2](link): Beschrijving van de op één na belangrijkste pagina

## Per onderwerp: categorie A
- [URL 3](link): Beschrijving
- [URL 4](link): Beschrijving

## Per onderwerp: categorie B
- [URL 5](link): Beschrijving

Het aanvullende bestand llms-full.txt

Het bestand llms-full.txt is een optionele aanvulling met de volledige Markdown-tekst van je belangrijkste pagina's. Zo kunnen AI-systemen al je content in één keer inlezen, zonder elke pagina apart op te vragen. Het is het waardevolst voor:

• Documentatiesites waarvan AI-tools zoals Cursor en GitHub Copilot je docs raadplegen

• Sites met React/Next.js of pagina's die zwaar op JavaScript leunen en die AI-crawlers lastig kunnen renderen

• Content met hoge prioriteit die je in de volledige context bij AI-systemen wilt hebben

Bekende AI-crawlers en hoe ze met LLMs.txt omgaan

Meten of je LLMs.txt werkt

Zo meet je of je LLMs.txt zijn werk doet:

1. Serverlogs analyseren: kijk of er verzoeken naar /llms.txt binnenkomen van user agents van AI-crawlers (GPTBot, ClaudeBot, PerplexityBot)

2. Vervolgbezoeken aan pagina's: check na verzoeken op LLMs.txt of de opgenomen URL's crawlerbezoek krijgen; dat betekent dat het bestand wordt gevolgd

3. Verandering in citatiepercentage: volg hoe vaak AI de pagina's uit je LLMs.txt citeert, vóór en na de livegang; reken op 4–8 weken voordat je effect ziet

4. Monitoring met AI Rank Lab: gebruik het crawleractiviteit-dashboard van AI Rank Lab om te zien welke AI-crawlers welke pagina's bezoeken

Veelgemaakte fouten met LLMs.txt

• Het bestand in een submap zetten: het bestand moet op yoursite.com/llms.txt staan, niet op yoursite.com/docs/llms.txt

• Content van lage kwaliteit opnemen: zet er alleen je beste pagina's in; dunne of verouderde content verwatert de kwaliteit van het signaal

• Het nooit bijwerken: werk LLMs.txt bij zodra je nieuwe content met hoge prioriteit publiceert of oude content uitfaseert

• Verkeerde Content-Type: zorg dat het bestand als text/plain wordt geserveerd, niet als text/html

• LLMs.txt blokkeren in robots.txt: als je AI-crawlers per ongeluk de toegang tot het LLMs.txt-bestand zelf ontzegt, schiet het zijn doel volledig voorbij

De belangrijkste punten op een rij

• LLMs.txt werd in 2024 voorgesteld door Jeremy Howard van Answer.AI en wordt nu ondersteund door GPTBot, ClaudeBot en PerplexityBot

• Waar robots.txt toegang beperkt en sitemap.xml alle pagina's opsomt, is LLMs.txt een samengestelde, positieve gids voor AI-systemen

• Instellen kost minder dan 30 minuten; onderhoud betekent af en toe bijwerken als je nieuwe prioriteitscontent publiceert

• Meet het effect door de serverlogs van AI-crawlers te monitoren en de verandering in citatiepercentage van de opgenomen URL's te volgen

• Het aanvullende bestand llms-full.txt is vooral waardevol voor documentatiesites en pagina's die zwaar op JavaScript leunen

Wil je een uitgebreide implementatiehandleiding? Bekijk onze stapsgewijze handleiding voor het maken van een LLMs.txt. Beheer en monitor de impact van je LLMs.txt met AI Rank Lab.