सीधे कंटेंट पर जाएँ

एसईओ और एआई विजिबिलिटी के लिए मुफ़्त Robots.txt जेनरेटर टूल

एक मिनट से भी कम में robots.txt फ़ाइल बनाएँ। कोई टेम्पलेट चुनें या अपने User-agent, Allow, Disallow और Crawl-delay नियम जोड़ें, अपना साइटमैप डालें, फिर फ़ाइल कॉपी या डाउनलोड करें। फ्री, बिना अकाउंट के, और यह सर्च क्रॉलर के साथ GPTBot और ClaudeBot जैसे AI बॉट के लिए भी काम करता है।

Robots.txt कॉन्फ़िगरेशन

अपने robots.txt निर्देश कॉन्फ़िगर करें

निर्देश

USER-AGENT
ALLOW
DISALLOW
DISALLOW
DISALLOW
CRAWL-DELAY

सामान्य टेम्पलेट

सामान्य उपयोग के मामलों के लिए त्वरित टेम्पलेट

जनरेट किया गया Robots.txt

डाउनलोड के लिए आपकी robots.txt फ़ाइल तैयार है

robots.txt आउटपुट देखने के लिए निर्देश कॉन्फ़िगर करें और जनरेट करें

Robots.txt गाइड

यूज़र-एजेंट: Specifies which crawler the rules apply to (* for all)
अनुमति दें (Allow): Explicitly allows crawling of specific paths
अस्वीकृत करें (Disallow): Prevents crawling of specific paths
क्रॉल-विलंब (Crawl-delay): Sets delay between requests (in seconds)
साइटमैप (Sitemap): Points to your XML sitemap location

robots.txt जनरेटर क्या है?

robots.txt जनरेटर एक ऐसा टूल है जो आपके लिए robots.txt फ़ाइल लिखता है: yourdomain.com/robots.txt पर रखी वह प्लेन-टेक्स्ट फ़ाइल जो क्रॉलर को बताती है कि वे कौन-से पाथ फ़ेच कर सकते हैं। इस फ्री robots.txt जनरेटर में आप User-agent, Allow और Disallow की रो, चाहें तो Crawl-delay और अपने साइटमैप का URL जोड़ते हैं, फिर फ़ाइल कॉपी या डाउनलोड करते हैं। यह आपके ब्राउज़र में चलता है, बिना अकाउंट के।

robots.txt बिल्डर क्या लिखता है

हर नियम एक रो है जिसे आप चालू या बंद कर सकते हैं, यानी कुछ भी डिलीट किए बिना ज़्यादा सख़्त फ़ाइल आज़मा सकते हैं।

User-agent

नियम किसके लिए हैं: हर क्रॉलर के लिए *, या Googlebot, Bingbot, GPTBot या ClaudeBot जैसा कोई नाम वाला बॉट। जितने चाहिए उतने जोड़ें।

Allow और Disallow

वे पाथ जिन्हें क्रॉलर फ़ेच कर सकते हैं या नहीं कर सकते, जैसे /admin/ या /checkout/। हर चालू नियम आपके लिस्ट किए हर user-agent के नीचे लिखा जाता है।

Crawl-delay

रिक्वेस्ट के बीच के सेकंड, उन क्रॉलर के लिए जो इसे मानते हैं। डिफ़ॉल्ट रूप से बंद; Google इस डायरेक्टिव को नहीं मानता।

Sitemap (साइटमैप)

आपके XML साइटमैप का पूरा URL, जो फ़ाइल के आख़िर में जुड़ता है ताकि क्रॉलर को हर पेज मिल जाए।

शुरुआत के लिए तीन टेम्पलेट

मानक वेबसाइट, सभी क्रॉलर ब्लॉक करें, और एपीआई-हैवी साइट। कोई एक लोड करें, फिर रो एडिट करें।

कॉपी या डाउनलोड

लाइव फ़ाइल टेस्ट करें

बना हुआ टेक्स्ट कॉपी करें या robots.txt के रूप में डाउनलोड करें, जो आपकी साइट के रूट पर अपलोड के लिए तैयार है।

robots.txt फ़ाइल कैसे बनाएँ

नियम बनाएँ, फ़ाइल जनरेट करें और उसे अपने डोमेन के रूट पर अपलोड करें।

  1. टेम्पलेट से शुरू करें

    मानक वेबसाइट, सभी क्रॉलर ब्लॉक करें या एपीआई-हैवी साइट लोड करें, या डिफ़ॉल्ट रो से शुरू करें।

  2. User-agent की रो जोड़ें

    हर क्रॉलर के लिए * इस्तेमाल करें, या Googlebot, GPTBot या ClaudeBot जैसे बॉट का नाम लिखें। हर चालू नियम आपके लिस्ट किए हर user-agent के नीचे लिखा जाता है।

  3. Allow और Disallow पाथ जोड़ें

    वे फ़ोल्डर लिखें जिन्हें क्रॉलर को छोड़ देना चाहिए, जैसे /admin/ या /checkout/, और वे अपवाद जिन्हें वे फिर भी फ़ेच कर सकते हैं। अलग-अलग वर्शन की तुलना के लिए रो चालू या बंद करें।

  4. साइटमैप जोड़ें और जनरेट करें

    साइटमैप का पूरा URL डालें, फिर "Robots.txt जनरेट करें" पर क्लिक करें।

  5. डाउनलोड करें और साइट के रूट पर अपलोड करें

    टेक्स्ट कॉपी करें या robots.txt डाउनलोड करें, उसे ऐसे अपलोड करें कि वह https://yourdomain.com/robots.txt पर खुले, फिर लाइव फ़ाइल टेस्ट करें।

robots.txt फ़ाइल कैसे पढ़ें

बनी हुई फ़ाइल ग्रुप की एक लिस्ट है। हर ग्रुप एक या ज़्यादा User-agent लाइन से शुरू होता है, और उसके बाद उन क्रॉलर के नियम आते हैं।

User-agent: *

यह ग्रुप हर उस क्रॉलर पर लागू होता है जिसका अपना कोई ग्रुप नहीं है। क्रॉलर सिर्फ़ उसी सबसे स्पेसिफ़िक ग्रुप को मानता है जिसमें उसका नाम है।

Disallow: /admin/

इस ग्रुप के क्रॉलर को /admin/ से शुरू होने वाले URL फ़ेच नहीं करने चाहिए। खाली Disallow लाइन का मतलब है कि कुछ भी ब्लॉक नहीं है।

Allow: /admin/help/

ब्लॉक किए गए फ़ोल्डर के अंदर एक अपवाद। Google और Bing सबसे स्पेसिफ़िक (सबसे लंबा) मैच होने वाला नियम लागू करते हैं।

Disallow: /

उस ग्रुप के लिए पूरी साइट ब्लॉक कर देता है। इसे * के बजाय GPTBot जैसे किसी नाम वाले बॉट के नीचे इस्तेमाल करें।

Crawl-delay: 10

क्रॉलर से रिक्वेस्ट के बीच 10 सेकंड रुकने को कहता है। Bing इसे मानता है; Google नहीं मानता।

Sitemap: https://…/sitemap.xml

हर क्रॉलर को आपके XML साइटमैप का पता देता है। यह पूरा URL होना चाहिए और फ़ाइल में कहीं भी आ सकता है।

robots.txt फ़ाइल क्या कंट्रोल करती है

नियम मानने वाला क्रॉलर कोई पेज फ़ेच करने से पहले होस्ट के रूट पर /robots.txt पढ़ता है। फ़ाइल बताती है कि हर क्रॉलर कौन-से पाथ माँग सकता है। यह क्रॉलिंग कंट्रोल करती है, इंडेक्सिंग नहीं: अगर दूसरी साइटें किसी ब्लॉक किए गए URL से लिंक करती हैं, तो वह फिर भी Google में दिख सकता है। किसी पेज को सर्च रिज़ल्ट से बाहर रखने के लिए उसे क्रॉल होने दें और उसकी जगह noindex टैग लगाएँ।

हर सबडोमेन को अपनी अलग फ़ाइल चाहिए। https://blog.example.com/robots.txt और https://example.com/robots.txt अलग-अलग हैं, और सबफ़ोल्डर में रखी फ़ाइल को अनदेखा कर दिया जाता है।

कस्टम robots.txt फ़ाइल कैसे बनाएँ

ज़्यादातर साइटों को बस कुछ लाइनें चाहिए: सभी क्रॉलर के लिए एक ग्रुप जो प्राइवेट या डुप्लिकेट हिस्सों को ब्लॉक करे, और एक Sitemap लाइन। नाम वाला ग्रुप तभी जोड़ें जब किसी एक क्रॉलर को अलग नियम चाहिए।

ब्लॉग या बिज़नेस साइट के लिए एक आम शुरुआत, जिसमें Blogger या WordPress के लिए कस्टम robots.txt भी शामिल है:

  • User-agent: * और उसके साथ एडमिन, लॉगिन, कार्ट, चेकआउट और इंटरनल सर्च रिज़ल्ट पेजों के लिए Disallow लाइनें।
  • ऐसा कोई नियम नहीं जो CSS, JavaScript या इमेज फ़ोल्डर ब्लॉक करे: पेज रेंडर करने के लिए Google को इनकी ज़रूरत होती है।
  • आपके साइटमैप या साइटमैप इंडेक्स के पूरे URL वाली एक Sitemap लाइन।
  • Blogger के लिए, नतीजे को Settings, Crawlers and indexing, Custom robots.txt में पेस्ट करें। WordPress के लिए, फ़ाइल को साइट के रूट पर अपलोड करें या अपने SEO प्लगइन के robots.txt एडिटर में पेस्ट करें।

AI क्रॉलर के लिए robots.txt नियम

AI कंपनियाँ अपने क्रॉलर के user-agent नाम पब्लिश करती हैं, इसलिए आप हर एक को अलग से allow या ब्लॉक कर सकते हैं। GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity) और CCBot (Common Crawl), सब अपना-अपना ग्रुप पढ़ते हैं, और Google-Extended यह कंट्रोल करता है कि Google आपका कंटेंट Gemini के लिए इस्तेमाल कर सकता है या नहीं।

किसी क्रॉलर को ब्लॉक करना एक समझौता है। इससे आपके पेज उस कंपनी की क्रॉलिंग से बाहर रहते हैं, लेकिन वे उन जवाबों से भी बाहर रह सकते हैं जो उसका असिस्टेंट क्रॉल किए गए पेजों से बनाता है। हर बॉट के लिए अलग से फ़ैसला करें, और बाद में देखें कि असल में कौन-से बॉट आते हैं।

2026 में आपको कस्टम Robots.txt क्रिएटर की आवश्यकता क्यों है

हमारा मुफ़्त robots.txt जेनरेटर टूल आपको अपनी वेबसाइट के लिए उचित robots.txt फ़ाइलें बनाने में मदद करता है। Robots.txt फ़ाइलें यह नियंत्रित करने के लिए आवश्यक हैं कि सर्च इंजन आपकी वेबसाइट को कैसे क्रॉल करते हैं और यह आपके एसईओ प्रदर्शन को काफ़ी हद तक प्रभावित कर सकती हैं।

इस robots.txt मेकर का उपयोग कैसे करें

robots.txt फ़ाइल जनरेट करने के लिए, बस उन बॉट्स को चुनें जिन्हें आप अनुमति देना या रोकना चाहते हैं। हमारा robots txt बिल्डर फिर आपके लिए कोड तैयार करता है जिसे आप कॉपी और पेस्ट कर सकते हैं।

AI स्क्रैपर्स (GPTBot, ClaudeBot) को ब्लॉक करने के लिए Robots.txt फ़ाइलें कैसे जनरेट करें

AI एजेंट्स के बढ़ने के साथ, अपनी बौद्धिक संपदा (intellectual property) की सुरक्षा के लिए GPTBot, ClaudeBot, और OpenAI-SearchBot जैसे AI स्क्रैपर्स को रोकना पहले से कहीं अधिक महत्वपूर्ण हो गया है। हमारा टूल आपको इन आधुनिक AI क्रॉलर्स के अनुकूल निर्देश आसानी से जनरेट करने में मदद करता है।

मुख्य विशेषताएँ

  • आसान कॉन्फ़िगरेशन: डायरेक्टिव सेट करने के लिए आसान इंटरफ़ेस
  • प्रीसेट टेम्पलेट्स: आम ज़रूरतों के लिए तुरंत तैयार टेम्पलेट
  • कस्टम निर्देश: कस्टम allow, disallow और दूसरे डायरेक्टिव जोड़ें
  • तत्काल जनरेशन: अपनी robots.txt फ़ाइल अपलोड के लिए तैयार पाएँ
  • पंजीकरण की आवश्यकता नहीं: साइन अप किए बिना टूल तुरंत इस्तेमाल करें

सामान्य उपयोग के मामले

  • सभी क्रॉलर्स को आपकी साइट तक पहुँचने की अनुमति दें
  • एडमिन क्षेत्रों और निजी सामग्री तक पहुँच को ब्लॉक करें
  • API एंडपॉइंट्स की क्रॉलिंग को नियंत्रित करें
  • सर्वर सुरक्षा के लिए क्रॉल देरी सेट करें
  • अपने XML साइटमैप की ओर इशारा करें

अपनी जनरेट की गई Robots.txt का उपयोग कैसे करें

  1. जनरेट की गई robots.txt फ़ाइल डाउनलोड करें
  2. इसे अपनी वेबसाइट की रूट निर्देशिका (जैसे, yourdomain.com/robots.txt) पर अपलोड करें
  3. अपनी साइट के क्रॉल आँकड़ों की निगरानी करें

सर्वोत्तम प्रथाएँ (Best Practices)

  • अपनी robots.txt फ़ाइल को सरल और स्पष्ट रखें
  • तैनाथ (deploy) करने से पहले अपनी robots.txt फ़ाइल का परीक्षण करें
  • संवेदनशील जानकारी छिपाने के लिए robots.txt का उपयोग न करें
  • robots.txt में अपना साइटमैप URL शामिल करें
  • बड़ी साइटों के लिए उचित क्रॉल विलंब (crawl delays) का उपयोग करें

यह robots.txt जनरेटर क्या नहीं करता

  • यह फ़ाइल अपलोड नहीं करता। robots.txt को अपनी साइट के रूट पर आप ख़ुद रखते हैं।
  • यह आपकी लाइव robots.txt को फ़ेच या टेस्ट नहीं करता। अपलोड के बाद robots.txt चेकर इस्तेमाल करें।
  • robots.txt एक अनुरोध है, ताला नहीं। भरोसेमंद क्रॉलर इसे मानते हैं; जो स्क्रैपर इसे नहीं मानते, उन्हें सर्वर या फ़ायरवॉल पर ब्लॉक करना पड़ता है।
  • यह पहले से इंडेक्स हो चुके पेज नहीं हटा सकता। noindex इस्तेमाल करें, या जल्दी हो तो Search Console का रिमूवल टूल।
  • हर चालू नियम आपके लिस्ट किए हर user-agent के नीचे लिखा जाता है, इसलिए एक बार में नियमों का एक ही सेट बनता है। किसी बॉट को अलग नियम देने के लिए (जैसे GPTBot को ब्लॉक करना लेकिन बाकी सबको आने देना), हर ग्रुप अलग से जनरेट करें और उन्हें एक फ़ाइल में पेस्ट करें।
  • Crawl-delay हर ग्रुप पर लागू होता है, अलग-अलग बॉट पर नहीं, और Google इसे नहीं मानता।

लोग अक्सर ये सवाल पूछते हैं

कुछ और पूछना है? टीम से पूछें

अगर मैं ग़लती से Googlebot को ब्लॉक कर दूँ तो क्या होगा?

अगर Googlebot पूरी साइट से ब्लॉक है, तो वह क्रॉल करना बंद कर देता है, और समय के साथ पेज रिज़ल्ट से हट सकते हैं या बिना डिस्क्रिप्शन के दिख सकते हैं। अपलोड करने से पहले हर बदलाव जाँचें, और डिप्लॉय के बाद Google Search Console में robots.txt रिपोर्ट खोलकर देखें कि Google ने कौन-सा वर्शन फ़ेच किया और कोई एरर तो नहीं है।

क्या मुझे robots.txt में GPTBot जैसे AI बॉट ब्लॉक करने चाहिए?

यह इस पर निर्भर है कि आप क्या चाहते हैं। GPTBot, ClaudeBot, PerplexityBot या CCBot को ब्लॉक करने से ये क्रॉलर आपके पेजों से दूर रहते हैं, लेकिन इससे आपका कंटेंट उनके असिस्टेंट के जवाबों से भी बाहर रह सकता है। कई साइटें AI सर्च चलाने वाले क्रॉलर को आने देती हैं और सिर्फ़ उन्हें ब्लॉक करती हैं जिन्हें वे नहीं चाहतीं। हर बॉट के लिए अलग से फ़ैसला करें।

क्या मैं robots.txt क्रिएटर से AI बॉट ब्लॉक कर सकता हूँ?

हाँ। बॉट के लिए User-agent रो जोड़ें, जैसे GPTBot, ClaudeBot, PerplexityBot या CCBot, और एक Disallow: / रो, फिर जनरेट करें। हर नियम उस रन के हर user-agent पर लागू होता है, इसलिए AI बॉट वाला ग्रुप और अपना * ग्रुप अलग-अलग जनरेट करें और उन्हें एक फ़ाइल में जोड़ें। भरोसेमंद AI क्रॉलर ये नियम मानते हैं; जो बॉट robots.txt को नहीं मानते, उन्हें अपने सर्वर या फ़ायरवॉल पर ब्लॉक करें।

What is a robots.txt file?

A robots.txt file is a plain-text file at the root of your domain (yourdomain.com/robots.txt) that tells search engine and AI crawlers which pages they may and may not access. It is one of the first files crawlers request when they visit your site, and it plays a key role in both crawl budget management and AI bot access control.

Does robots.txt prevent pages from being indexed?

No. robots.txt prevents crawling, not indexing. If other sites link to a blocked page, Google can still index it from those external links without crawling your page. To prevent indexing, use a noindex meta tag on the page itself — robots.txt and noindex solve different problems.

What is crawl budget and why does robots.txt matter for it?

Crawl budget is the number of pages Googlebot will crawl on your site within a given timeframe. Blocking low-value pages in robots.txt — admin panels, duplicate content, faceted navigation URLs — redirects that budget toward your important content, helping them get crawled and indexed more frequently.

Should I block CSS and JavaScript in robots.txt?

Never. Google needs to render your pages with all CSS and JavaScript assets to understand your content. Blocking stylesheets or scripts prevents Googlebot from seeing your pages as users see them, which can significantly hurt rankings by making pages appear sparse or broken to the crawler.

Where must the robots.txt file be placed?

robots.txt must be in the root directory of your domain: https://yourdomain.com/robots.txt. It cannot live in a subdirectory. Each subdomain needs its own separate robots.txt — for example, blog.yourdomain.com/robots.txt is separate from yourdomain.com/robots.txt.

सबसे अच्छा फ्री robots.txt जनरेटर कौन-सा है?

ऐसा चुनें जिसमें आप हर user-agent के लिए नियम सेट कर सकें, अपना साइटमैप जोड़ सकें और साइन अप किए बिना तैयार फ़ाइल डाउनलोड कर सकें। यह robots.txt जनरेटर तीनों काम करता है और फ्री है। अपलोड करने से पहले नतीजे को robots.txt चेकर से टेस्ट कर लें।

robots.txt फ़ाइल कैसे बनाएँ?

कोई टेम्पलेट चुनें या User-agent, Allow और Disallow के लिए रो जोड़ें, अपने साइटमैप का URL डालें, फिर जनरेट पर क्लिक करें। टेक्स्ट कॉपी करें या robots.txt डाउनलोड करके अपने डोमेन के रूट पर अपलोड करें, ताकि वह https://yourdomain.com/robots.txt पर खुले।

क्या यह robots.txt जनरेटर फ्री है?

हाँ। इसमें अकाउंट की ज़रूरत नहीं और यह आपके ब्राउज़र में चलता है। आप जो भी टाइप करते हैं, वह हमारे सर्वर पर नहीं भेजा जाता।

क्या मैं Blogger या WordPress के लिए कस्टम robots.txt बना सकता हूँ?

हाँ। नियम यहाँ बनाएँ, फिर उन्हें Blogger की कस्टम robots.txt सेटिंग में पेस्ट करें, या फ़ाइल को अपनी WordPress साइट के रूट पर अपलोड करें (या अपने SEO प्लगइन के robots.txt एडिटर में पेस्ट करें)।

देखें कि क्रॉलर आपकी साइट पर असल में क्या करते हैं

robots.txt फ़ाइल नियम बताती है। AI Rank Lab दिखाता है कि कौन-से AI बॉट आते हैं, कौन-से पेज पढ़ते हैं, और आपके पेज साइट किए जाने के लिए तैयार हैं या नहीं।

AI बॉट ट्रैकर

एक ट्रैकिंग टैग लगाएँ और AI क्रॉलर की विज़िट और AI असिस्टेंट से भेजे गए लोगों की विज़िट पेज-दर-पेज देखें। इसके साथ फ्री ऑडिट चलाएँ, जो पेज के साथ-साथ आपकी robots.txt, साइटमैप और llms.txt भी जाँचता है।

  • हर बॉट और हर पेज के हिसाब से AI क्रॉलर की विज़िट
  • ChatGPT, Perplexity और दूसरे असिस्टेंट से आए रेफ़रल
  • फ्री ऑडिट robots.txt, sitemap.xml और llms.txt जाँचता है
AI बॉट ट्रैकिंग देखें
fieldnote.app4,571 क्रेडिट

AI बॉट ट्रैकर

AI क्रॉलर की विज़िट · पिछले 30 दिन

उदाहरण के लिए डेटा
क्रॉलर के हिसाब से विज़िटट्रैकिंग टैग से
  • GPTBot1,240
  • ClaudeBot860
  • PerplexityBot512
  • OAI-SearchBot330

AI असिस्टेंट से आई विज़िट भी रिकॉर्ड करता है, हर पेज के हिसाब से।

देखें कि सर्च और AI में आप कहाँ खड़े हैं

अपनी साइट पेस्ट करें। फ्री ऑडिट उसे SEO, आंसर इंजन और जनरेटिव इंजन के लिए स्कोर करता है, सुधारों के साथ।