LLMs.txt 작성법 가이드: 원하는 AI 크롤러가 내 콘텐츠를 제대로 읽게 하는 법

LLMs.txt 파일, 만들어 두긴 했는데 정말 효과가 있을까요? 많은 사이트가 파일을 한 번 만들고는 다시 들여다보지 않아요. 그런데 기본만 갖춘 파일과 AI 인용률을 실제로 끌어올리는 파일의 차이는 바로 꾸준한 최적화에서 나와요. 이 글에서 소개하는 베스트 프랙티스는 성과가 좋은 AEO 사례들에서 반복적으로 나타난 패턴을 정리한 거예요.

AI 크롤러, 어떤 걸 허용할지 신중하게 고르세요

모든 AI 크롤러를 똑같이 대할 필요는 없어요. 어떤 AI 크롤러가 사이트에 들어올 수 있는지는 robots.txt로 정하고, 허용한 크롤러를 가장 좋은 콘텐츠로 안내하는 일은 LLMs.txt에 맡기면 돼요.

분명한 법적·사업적 이유가 없다면 AI 크롤러는 절대 차단하지 마세요. 크롤러 하나를 막을 때마다 내 콘텐츠가 인용될 수 없는 AI 플랫폼이 하나씩 늘어나요.

AI에 진짜 도움이 되는 설명 쓰기

LLMs.txt에서 URL마다 붙이는 한 줄 설명은 대부분의 사이트가 생각하는 것보다 훨씬 중요해요. AI 시스템은 이 설명을 보고 특정 질문에 그 페이지를 가져올지 판단하거든요. 설명이 부실하면 그 기회를 그냥 날리는 셈이에요.

• 부실한 예: - [Guide](/guide): Our guide to AEO

• 좋은 예: - [Complete AEO Guide](/guide): Definitive 3,000-word guide covering AEO definition, how AI engines select sources, content formatting for citations, and a 7-step getting-started checklist

설명에는 다루는 구체적인 주제, 대상 독자, 독자가 배우거나 할 수 있게 되는 것, 그리고 페이지에만 있는 고유한 데이터나 관점을 담으세요. 위의 좋은 예처럼 3,000단어 분량이라는 점이나 7단계 시작 체크리스트가 있다는 점까지 구체적으로 적는 게 좋아요.

AI가 이해하기 쉽게 섹션 구성하기

AI 시스템은 LLMs.txt의 섹션을 보고 내 콘텐츠가 어떻게 분류되어 있는지 파악해요. 그러니 뭉뚱그린 섹션 제목 대신 구체적이고 설명적인 제목을 쓰세요.

• ## Blog 대신 → ## AEO & GEO Strategy Guides

• ## Docs 대신 → ## AI Rank Lab Platform Documentation

• ## Resources 대신 → ## Original Research & Data Reports

이렇게 구체적으로 적어 두면 AI 시스템이 LLMs.txt 속 콘텐츠를 관련 질문 유형과 연결하기 쉬워지고, 그만큼 인용도 더 정확해져요.

어떤 콘텐츠를 넣을까: 콘텐츠 선정 원칙

LLMs.txt에서 가장 큰 영향을 주는 결정은 어떤 URL을 넣느냐예요. 다음 원칙을 따르세요.

1. 정말 최고의 페이지만 넣기: 내 전문성의 80%를 보여 주는 상위 20% 콘텐츠

2. 답변 밀도가 높은 콘텐츠 우선: 여러 질문에 직접 답하는 페이지가 AI 검색(retrieval)에서 더 좋은 성과를 내요

3. 자체 데이터 출처 포함: 독자적인 데이터나 통계가 있는 페이지라면 무엇이든요. AI 엔진에게는 인용하기 딱 좋은 금광이에요

4. 빈약하거나 오래된 콘텐츠 제외: 500단어 미만이거나 정보가 크게 낡은 페이지는 권위 신호를 희석해요

5. 중복되거나 거의 같은 페이지 생략: AI 시스템은 여러 URL에 같은 콘텐츠를 반복하는 것처럼 보이는 사이트에 불이익을 줘요

꼭 피해야 할 LLMs.txt 실수

• URL을 너무 많이 넣기: URL이 200개인 LLMs.txt는 AI 시스템 눈에 질보다 양으로 보여요. 최대 30개를 목표로 하세요

• 두루뭉술한 설명: 한 단어짜리 설명이나 모호한 설명은 AI 시스템이 관련성을 파악하는 데 도움이 안 돼요

• 깨진 링크: 404 오류를 반환하는 URL을 넣으면 크롤링 예산이 낭비되고, 사이트 관리가 허술하다는 신호를 줘요

• 업데이트하지 않기: 12개월 전에 만든 LLMs.txt가 낡은 콘텐츠를 가리키고 있다면 권위 신호에 오히려 해가 돼요

• 잘못된 위치: 파일을 루트가 아닌 하위 디렉터리(예: /static/llms.txt)에 두면 표준을 따르는 AI 크롤러가 찾지 못해요

AI 시스템을 위한 크롤링 예산 최적화

AI 크롤러는 한정된 크롤링 예산(crawl budget) 안에서 움직여요. 방문할 때마다 사이트 전체를 색인할 수는 없다는 뜻이죠. LLMs.txt를 활용하면 그 예산이 가장 중요한 콘텐츠에 최대한 쓰이도록 만들 수 있어요. 핵심 전략은 다음과 같아요.

• 순서가 중요해요: 가장 중요한 URL을 LLMs.txt 맨 위에 두세요. 예산 한도에 도달한 AI 크롤러도 가장 핵심적인 페이지는 먼저 색인한 상태가 돼요

• 리디렉션 피하기: LLMs.txt에는 최종 canonical URL을 쓰세요. 리디렉션 체인은 크롤링 예산을 낭비하고 AI 크롤러를 헷갈리게 할 수 있어요

• 페이지 접근성 유지: 목록에 넣은 페이지는 2초 안에 로드되게 하세요. 느린 페이지는 끝까지 크롤링되지 않을 가능성이 커요

• robots.txt와 맞추기: LLMs.txt에 넣은 URL이 robots.txt에서 차단되어 있지 않은지 확인하세요. 차단된 URL을 LLMs.txt에 넣으면 서로 모순된 신호를 보내게 돼요

사이트 유형별 LLMs.txt 구성법

고급 전략: LLMs-Full.txt 활용하기

AI 도구가 문서나 핵심 콘텐츠에 자주 접근하는 사이트(개발자 도구, 교육 플랫폼 등)라면 llms-full.txt를 만들어 보세요. 이 파일에는 가장 중요한 페이지들의 전체 텍스트가 마크다운으로 들어 있어서, AI 시스템이 페이지를 하나하나 요청하지 않고도 콘텐츠 전체를 받아 갈 수 있어요. 알려진 장점은 다음과 같아요.

• AI 코딩 어시스턴트(Cursor, GitHub Copilot)가 HTTP 요청 없이 문서를 바로 참조할 수 있어요

• JS를 실행하지 못하는 AI 시스템에서 생기는 자바스크립트 렌더링 문제가 사라져요

• URL과 설명만 있을 때보다 훨씬 풍부한 맥락을 제공해요

가장 중요한 페이지 5~10개를 마크다운으로 온전히 변환해 담은 llms-full.txt를 별도로 관리하세요.

LLMs.txt 효과, 어떻게 측정할까요

LLMs.txt의 효과는 세 가지 관점에서 측정해요.

1. 서버 로그 분석: AI 크롤러(GPTBot, ClaudeBot, PerplexityBot)의 /llms.txt 요청과 그 뒤 목록에 있는 URL 방문을 추적하세요. 방문이 늘고 있다면 크롤러가 파일을 따라가고 있다는 뜻이에요

2. 인용률 추적: 목록에 넣은 URL의 인용률을 도입 전후로 비교하세요. 효과가 나타나기까지 4~8주 정도 걸리고, 잘 구현한 파일이라면 15~35% 개선을 기대해 볼 수 있어요

3. 노출 범위: AI Rank Lab으로 더 넓은 질문 세트를 테스트해 보세요. 도입 후 AI 답변에 내 콘텐츠가 더 많이 등장하나요?

핵심 정리

• URL 목록만 나열하는 것보다 구체적이고 유익한 설명이 훨씬 가치 있어요. 각 페이지가 어떤 질문에 답하는지 AI 시스템이 알 수 있게 도와주세요

• "Blog"나 "Docs" 같은 이름이 아니라 설명적인 섹션 제목을 쓰면 AI 시스템이 콘텐츠를 관련 질문 유형과 연결하기 쉬워요

• 법적으로 필요한 경우가 아니면 AI 크롤러는 절대 차단하지 마세요. 크롤러 하나를 막을 때마다 내 브랜드가 인용될 수 없는 플랫폼이 하나씩 생겨요

• LLMs.txt와 robots.txt를 서로 맞추세요. 두 파일이 모순되면 둘 다 힘을 잃어요

• LLMs.txt는 최소 분기마다 한 번 업데이트하고, 콘텐츠 발행 워크플로에 포함해 항상 최신 상태로 유지하세요

AI Rank Lab의 기술 감사는 LLMs.txt 파일을 자동으로 검증하고, 목록에 있는 모든 URL의 인용률을 추적해요. 무료 감사를 시작해 내 LLMs.txt가 얼마나 잘 작동하고 있는지 확인해 보세요.