robots.txt जेनरेटर — मुफ़्त और निजी, आपके ब्राउज़र में
अपनी साइट के लिए एक मान्य robots.txt बनाएँ — तुरंत, बिना कुछ अपलोड किए।
यह टूल पूरी तरह आपके ब्राउज़र में चलता है। आपकी फ़ाइलें कभी अपलोड नहीं होतीं — वे आपके डिवाइस पर ही रहती हैं।
User-agent: * Disallow:
एक robots.txt फ़ाइल सर्च इंजनों और अन्य क्रॉलरों को बताती है कि वे आपकी साइट के किन हिस्सों में जा सकते हैं। इसे सही करना मायने रखता है: एक भटका हुआ नियम आपकी पूरी साइट को Google से छिपा सकता है, या उन पेजों को उजागर कर सकता है जिन्हें आप इंडेक्स से बाहर रखना चाहते थे।
यह जेनरेटर जैसे-जैसे आप टाइप करते हैं फ़ाइल बनाता जाता है, ताकि आप ठीक-ठीक देख सकें कि हर नियम क्या करता है। सब कुछ आपके ब्राउज़र में होता है — कोई डेटा कहीं नहीं भेजा जाता — और जब यह सही लगे तो आप परिणाम कॉपी कर सकते हैं या उसे robots.txt के रूप में डाउनलोड कर सकते हैं।
robots.txt जेनरेटर का उपयोग कैसे करें
- वह user-agent सेट करें जिस पर नियम लागू होते हैं (सभी क्रॉलरों के लिए * का उपयोग करें)।
- जिन पथों को आप Disallow करना चाहते हैं उन्हें जोड़ें, और वैकल्पिक रूप से कोई भी पथ Allow करने के लिए।
- वैकल्पिक रूप से एक crawl-delay और अपना sitemap URL जोड़ें।
- लाइव प्रीव्यू की समीक्षा करें, फिर उसे कॉपी करें या robots.txt के रूप में डाउनलोड करें।
- फ़ाइल को अपनी साइट की रूट में अपलोड करें, जैसे example.com/robots.txt।
अक्सर पूछे जाने वाले सवाल
क्या कुछ अपलोड या किसी सर्वर पर भेजा जाता है?
नहीं। robots.txt टेक्स्ट पूरी तरह आपके ब्राउज़र में ही, जैसे-जैसे आप टाइप करते हैं, बनता है। आप जो भी दर्ज करते हैं वह अपलोड, संग्रहीत या साझा नहीं किया जाता।
मैं robots.txt फ़ाइल कहाँ रखूँ?
यह आपके डोमेन की रूट में होनी चाहिए, https://yourdomain.com/robots.txt पर पहुँच योग्य। क्रॉलर इसे सबफ़ोल्डर में नहीं ढूँढते।
"Disallow: /" क्या करता है?
एकल स्लैश का Disallow उस user-agent के लिए पूरी साइट को ब्लॉक कर देता है। अगर आप चाहते हैं कि सब कुछ क्रॉल हो, तो Disallow पथों को खाली छोड़ दें (या "Allow: /" का उपयोग करें)।
क्या robots.txt पेजों को Google से पूरी तरह बाहर रखता है?
ज़रूरी नहीं। यह सुव्यवस्थित क्रॉलरों से किसी पथ को न लाने का अनुरोध करता है, पर एक ब्लॉक किया गया URL तब भी इंडेक्स हो सकता है अगर कहीं और से उससे लिंक हो। किसी पेज को भरोसेमंद ढंग से सर्च परिणामों से बाहर रखने के लिए noindex मेटा टैग या HTTP हेडर का उपयोग करें।
क्या मुझे sitemap पंक्ति जोड़नी चाहिए?
यह वैकल्पिक है पर अनुशंसित है। एक Sitemap पंक्ति क्रॉलरों को आपके XML sitemap की ओर इशारा करती है और उन्हें आपके पेज जल्दी खोजने में मदद करती है।