LLMs.txt: ملف robots.txt الجديد للذكاء الاصطناعي ودليل إعداده

مثلما أصبح ملف robots.txt ضروريًا منذ اللحظة التي بدأت فيها محركات البحث بالزحف إلى الويب، يصبح ملف LLMs.txt اليوم ضروريًا بالقدر نفسه، مع انتشار زواحف الذكاء الاصطناعي التي تفهرس الويب لتدريب النماذج اللغوية الكبيرة وللاسترجاع الفوري. إنه ملف نصي بسيط بتنسيق Markdown يوضع في جذر نطاقك، ويوجّه أنظمة الذكاء الاصطناعي صراحةً إلى أفضل محتواك ويبعدها عن المحتوى الذي لا تريد فهرسته.

ما هو ملف LLMs.txt؟

LLMs.txt معيار مفتوح اقترحته Answer.AI (جيريمي هوارد وزملاؤه) عام 2024، وسرعان ما تبنّته المؤسسات المهتمة بالذكاء الاصطناعي. يوضع الملف على العنوان yoursite.com/llms.txt ويتضمن:

• وصفًا موجزًا لموقعك والغرض منه

• قائمة منتقاة بأهم روابطك مع وصف من سطر واحد لكل رابط

• أقسامًا اختيارية تنظّم المحتوى حسب النوع أو الموضوع

• رابطًا اختياريًا إلى llms-full.txt للأنظمة التي تريد استيعاب المحتوى الكامل للصفحات

وعلى عكس robots.txt (الذي يعتمد على توجيهات السماح والمنع allow/disallow)، فإن LLMs.txt دليل إيجابي: يخبر أنظمة الذكاء الاصطناعي بما يجب أن تعطيه الأولوية، لا بما يجب أن تتجنبه فقط.

لماذا يهم LLMs.txt في تحسين محركات الإجابة (AEO)؟

تواجه زواحف الذكاء الاصطناعي التحدي نفسه الذي واجهته الزواحف التقليدية: قد يضم الموقع آلاف الصفحات، لكن جزءًا صغيرًا منها فقط يمثّل محتوى عالي الجودة وموثوقًا. ومن دون توجيه، تضطر هذه الزواحف إلى استنتاج الجودة من إشارات قد لا تعكس أفضل ما لديك. وهنا يأتي دور LLMs.txt: فهو يتيح لك أن تحدد صراحةً الصفحات التي تمثّل محتواك الأساسي والموثوق.

تفيد المواقع التي تملك ملف LLMs.txt بأن زواحف الذكاء الاصطناعي تغطي صفحاتها ذات الأولوية بسرعة أكبر مقارنةً بالمواقع التي لا تملكه، لأن هذه الزواحف تستطيع فورًا التعرّف على المحتوى المدرج فيه وإعطاءه الأولوية.

كما يساعد الملف على منع محركات الذكاء الاصطناعي من فهرسة المحتوى القديم منخفض الجودة أو صفحات المسودات أو المحتوى الضعيف الذي قد يُضعف إشارة الموثوقية العامة لموقعك.

تنسيق ملف LLMs.txt

يستخدم الملف صيغة Markdown. إليك مثالًا مبسّطًا جاهزًا للعمل:

# AI Rank Lab

> AI Rank Lab is a SaaS platform for optimizing website visibility in
> AI search engines (ChatGPT, Gemini, Perplexity, Claude) through AEO
> and GEO analysis, content optimization, and citation tracking.

## Core Documentation
- [AEO Complete Guide](/blog/what-is-aeo-complete-guide-answer-engine-optimization-2026): Comprehensive guide to Answer Engine Optimization
- [GEO vs SEO 2026](/blog/geo-vs-seo-2026-what-changed-what-stays-what-matters): Comparison of GEO and SEO strategies

## Product Documentation
- [Dashboard Overview](/docs/dashboard): How to use the AI Rank Lab dashboard
- [Citation Tracking](/docs/citation-tracking): Setting up citation monitoring

## Optional: Full Content
llms-full.txt: https://airanklab.com/llms-full.txt

خطوات الإعداد خطوة بخطوة

1. أنشئ الملف: أنشئ ملفًا نصيًا عاديًا باسم llms.txt بتنسيق Markdown الموضّح أعلاه

2. اختر روابطك: انتقِ من 10 إلى 30 صفحة من أكثر صفحاتك موثوقية وتمثيلًا لموقعك، مثل المقالات المحورية وصفحات المنتجات الرئيسية والتوثيق الأساسي

3. اكتب الأوصاف: أضف لكل رابط وصفًا دقيقًا وموجزًا من سطر واحد يشرح ما تتناوله الصفحة

4. ارفعه إلى الجذر: ضع الملف على yoursite.com/llms.txt (وليس في مجلد فرعي)

5. تحقّق من إمكانية الوصول: افتح yoursite.com/llms.txt في المتصفح لتتأكد من أنه متاح للعموم ويُقدَّم بنوع المحتوى Content-Type: text/plain

6. حدّثه باستمرار: حدّث الملف كلما نشرت محتوى جديدًا عالي الأولوية أو أوقفت محتوى قديمًا

دعم المنصات

LLMs.txt مقابل robots.txt مقابل sitemap.xml: الصورة الكاملة

استراتيجيات متقدمة لملف LLMs.txt

تنظيم الأقسام في المواقع الكبيرة

إذا كان موقعك يضم أكثر من 50 صفحة عالية الجودة، فنظّم ملف LLMs.txt في أقسام حسب الموضوع. تعالج زواحف الذكاء الاصطناعي الملف من الأعلى إلى الأسفل، لذا ضع المحتوى الأكثر موثوقية في البداية:

# Your Site Name

> Brief site description (1–2 sentences max)

## Most Important Content
- [URL 1](link): Description of most authoritative page
- [URL 2](link): Description of second most important page

## By Topic: Category A
- [URL 3](link): Description
- [URL 4](link): Description

## By Topic: Category B
- [URL 5](link): Description

الملف المرافق llms-full.txt

ملف llms-full.txt ملف مرافق اختياري يحتوي على النص الكامل لصفحاتك الرئيسية بتنسيق Markdown. يتيح ذلك لأنظمة الذكاء الاصطناعي استيعاب محتواك كاملًا من دون إرسال طلب منفصل لكل صفحة. وتظهر قيمته الأكبر في:

• مواقع التوثيق التي تستعلم فيها أدوات ذكاء اصطناعي مثل Cursor وGitHub Copilot عن مستنداتك

• المواقع المبنية بـ React/Next.js أو الصفحات المعتمدة بكثافة على JavaScript، والتي قد يصعب على زواحف الذكاء الاصطناعي عرضها

• المحتوى عالي الأولوية الذي تريد أن تمتلكه أنظمة الذكاء الاصطناعي بسياقه الكامل

زواحف الذكاء الاصطناعي المعروفة وكيف تتعامل مع LLMs.txt

كيف تقيس فعالية ملف LLMs.txt؟

لمعرفة ما إذا كان ملف LLMs.txt يؤدي دوره:

1. حلّل سجلات الخادم: ابحث عن طلبات إلى /llms.txt صادرة عن وكلاء مستخدم تابعين لزواحف الذكاء الاصطناعي (GPTBot وClaudeBot وPerplexityBot)

2. راقب الزيارات اللاحقة للصفحات: بعد طلبات LLMs.txt، تحقّق مما إذا كانت الروابط المدرجة تتلقى زيارات من الزواحف، فهذا يدل على أن الملف يُتّبع

3. تابع تغيّر معدل الاستشهاد: راقب معدلات استشهاد الذكاء الاصطناعي بالصفحات المدرجة في LLMs.txt قبل نشر الملف وبعده، وتوقّع تأخرًا من 4 إلى 8 أسابيع قبل ظهور النتائج

4. استخدم المراقبة في AI Rank Lab: استعن بلوحة نشاط الزواحف في AI Rank Lab لترى بوضوح أي زواحف الذكاء الاصطناعي تصل إلى أي صفحات

أخطاء شائعة في ملف LLMs.txt

• وضعه في مجلد فرعي: يجب أن يكون الملف على yoursite.com/llms.txt، وليس على yoursite.com/docs/llms.txt

• إدراج محتوى منخفض الجودة: أدرج أفضل صفحاتك فقط، فإضافة محتوى ضعيف أو قديم تُضعف جودة الإشارة

• عدم تحديثه أبدًا: ينبغي تحديث LLMs.txt كلما نشرت محتوى جديدًا عالي الأولوية أو أوقفت محتوى قديمًا

• نوع محتوى خاطئ: تأكّد من أن الملف يُقدَّم بنوع text/plain وليس text/html

• حظر LLMs.txt في robots.txt: إذا منعت زواحف الذكاء الاصطناعي عن غير قصد من قراءة ملف LLMs.txt نفسه، فقد أفشلت الغرض منه تمامًا

أبرز النقاط

• اقترح جيريمي هوارد من Answer.AI ملف LLMs.txt عام 2024، وهو مدعوم الآن من GPTBot وClaudeBot وPerplexityBot

• على عكس robots.txt (الذي يقيّد الوصول) أو sitemap.xml (الذي يسرد كل الصفحات)، فإن LLMs.txt دليل إيجابي منتقى لأنظمة الذكاء الاصطناعي

• يستغرق الإعداد أقل من 30 دقيقة، ولا تتطلب الصيانة سوى تحديثات متفرقة عند نشر محتوى جديد ذي أولوية

• قِس الفعالية بمراقبة سجلات الخادم الخاصة بزواحف الذكاء الاصطناعي وتتبّع تغيّر معدلات الاستشهاد بالروابط المدرجة

• الملف المرافق llms-full.txt مفيد بشكل خاص لمواقع التوثيق والصفحات المعتمدة بكثافة على JavaScript

للاطلاع على شرح تطبيقي مفصّل، راجع دليلنا خطوة بخطوة لإنشاء ملف LLMs.txt. وأدِر ملف LLMs.txt وراقب أثره باستخدام AI Rank Lab.