robots.txt फ़ाइल क्या कंट्रोल करती है
नियम मानने वाला क्रॉलर कोई पेज फ़ेच करने से पहले होस्ट के रूट पर /robots.txt पढ़ता है। फ़ाइल बताती है कि हर क्रॉलर कौन-से पाथ माँग सकता है। यह क्रॉलिंग कंट्रोल करती है, इंडेक्सिंग नहीं: अगर दूसरी साइटें किसी ब्लॉक किए गए URL से लिंक करती हैं, तो वह फिर भी Google में दिख सकता है। किसी पेज को सर्च रिज़ल्ट से बाहर रखने के लिए उसे क्रॉल होने दें और उसकी जगह noindex टैग लगाएँ।
हर सबडोमेन को अपनी अलग फ़ाइल चाहिए। https://blog.example.com/robots.txt और https://example.com/robots.txt अलग-अलग हैं, और सबफ़ोल्डर में रखी फ़ाइल को अनदेखा कर दिया जाता है।
कस्टम robots.txt फ़ाइल कैसे बनाएँ
ज़्यादातर साइटों को बस कुछ लाइनें चाहिए: सभी क्रॉलर के लिए एक ग्रुप जो प्राइवेट या डुप्लिकेट हिस्सों को ब्लॉक करे, और एक Sitemap लाइन। नाम वाला ग्रुप तभी जोड़ें जब किसी एक क्रॉलर को अलग नियम चाहिए।
ब्लॉग या बिज़नेस साइट के लिए एक आम शुरुआत, जिसमें Blogger या WordPress के लिए कस्टम robots.txt भी शामिल है:
- User-agent: * और उसके साथ एडमिन, लॉगिन, कार्ट, चेकआउट और इंटरनल सर्च रिज़ल्ट पेजों के लिए Disallow लाइनें।
- ऐसा कोई नियम नहीं जो CSS, JavaScript या इमेज फ़ोल्डर ब्लॉक करे: पेज रेंडर करने के लिए Google को इनकी ज़रूरत होती है।
- आपके साइटमैप या साइटमैप इंडेक्स के पूरे URL वाली एक Sitemap लाइन।
- Blogger के लिए, नतीजे को Settings, Crawlers and indexing, Custom robots.txt में पेस्ट करें। WordPress के लिए, फ़ाइल को साइट के रूट पर अपलोड करें या अपने SEO प्लगइन के robots.txt एडिटर में पेस्ट करें।
AI क्रॉलर के लिए robots.txt नियम
AI कंपनियाँ अपने क्रॉलर के user-agent नाम पब्लिश करती हैं, इसलिए आप हर एक को अलग से allow या ब्लॉक कर सकते हैं। GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity) और CCBot (Common Crawl), सब अपना-अपना ग्रुप पढ़ते हैं, और Google-Extended यह कंट्रोल करता है कि Google आपका कंटेंट Gemini के लिए इस्तेमाल कर सकता है या नहीं।
किसी क्रॉलर को ब्लॉक करना एक समझौता है। इससे आपके पेज उस कंपनी की क्रॉलिंग से बाहर रहते हैं, लेकिन वे उन जवाबों से भी बाहर रह सकते हैं जो उसका असिस्टेंट क्रॉल किए गए पेजों से बनाता है। हर बॉट के लिए अलग से फ़ैसला करें, और बाद में देखें कि असल में कौन-से बॉट आते हैं।
2026 में आपको कस्टम Robots.txt क्रिएटर की आवश्यकता क्यों है
हमारा मुफ़्त robots.txt जेनरेटर टूल आपको अपनी वेबसाइट के लिए उचित robots.txt फ़ाइलें बनाने में मदद करता है।
Robots.txt फ़ाइलें यह नियंत्रित करने के लिए आवश्यक हैं कि सर्च इंजन आपकी वेबसाइट को कैसे क्रॉल करते हैं और यह आपके एसईओ प्रदर्शन को
काफ़ी हद तक प्रभावित कर सकती हैं।
इस robots.txt मेकर का उपयोग कैसे करें
robots.txt फ़ाइल जनरेट करने के लिए, बस उन बॉट्स को चुनें जिन्हें आप अनुमति देना या रोकना चाहते हैं।
हमारा robots txt बिल्डर फिर आपके लिए कोड तैयार करता है जिसे आप कॉपी और पेस्ट कर सकते हैं।
AI स्क्रैपर्स (GPTBot, ClaudeBot) को ब्लॉक करने के लिए Robots.txt फ़ाइलें कैसे जनरेट करें
AI एजेंट्स के बढ़ने के साथ, अपनी बौद्धिक संपदा (intellectual property) की सुरक्षा के लिए GPTBot, ClaudeBot, और OpenAI-SearchBot जैसे AI स्क्रैपर्स को रोकना पहले से कहीं अधिक महत्वपूर्ण हो गया है। हमारा टूल आपको इन आधुनिक AI क्रॉलर्स के अनुकूल निर्देश आसानी से जनरेट करने में मदद करता है।
मुख्य विशेषताएँ
- आसान कॉन्फ़िगरेशन: डायरेक्टिव सेट करने के लिए आसान इंटरफ़ेस
- प्रीसेट टेम्पलेट्स: आम ज़रूरतों के लिए तुरंत तैयार टेम्पलेट
- कस्टम निर्देश: कस्टम allow, disallow और दूसरे डायरेक्टिव जोड़ें
- तत्काल जनरेशन: अपनी robots.txt फ़ाइल अपलोड के लिए तैयार पाएँ
- पंजीकरण की आवश्यकता नहीं: साइन अप किए बिना टूल तुरंत इस्तेमाल करें
सामान्य उपयोग के मामले
- सभी क्रॉलर्स को आपकी साइट तक पहुँचने की अनुमति दें
- एडमिन क्षेत्रों और निजी सामग्री तक पहुँच को ब्लॉक करें
- API एंडपॉइंट्स की क्रॉलिंग को नियंत्रित करें
- सर्वर सुरक्षा के लिए क्रॉल देरी सेट करें
- अपने XML साइटमैप की ओर इशारा करें
अपनी जनरेट की गई Robots.txt का उपयोग कैसे करें
- जनरेट की गई robots.txt फ़ाइल डाउनलोड करें
- इसे अपनी वेबसाइट की रूट निर्देशिका (जैसे, yourdomain.com/robots.txt) पर अपलोड करें
- अपनी साइट के क्रॉल आँकड़ों की निगरानी करें
सर्वोत्तम प्रथाएँ (Best Practices)
- अपनी robots.txt फ़ाइल को सरल और स्पष्ट रखें
- तैनाथ (deploy) करने से पहले अपनी robots.txt फ़ाइल का परीक्षण करें
- संवेदनशील जानकारी छिपाने के लिए robots.txt का उपयोग न करें
- robots.txt में अपना साइटमैप URL शामिल करें
- बड़ी साइटों के लिए उचित क्रॉल विलंब (crawl delays) का उपयोग करें