डेवलपर टूल

Robots.txt Generator

Robots.txt Generator आपके allow, disallow और sitemap rules से एक robots.txt फ़ाइल बनाता है। हर user-agent के लिए directives जोड़ें, crawl delay सेट करें, और फ़ाइल कॉपी या डाउनलोड करें — सब आपके ब्राउज़र में।

आख़िरी बार अपडेट: July 2026

Robots.txt generator एक robots.txt फ़ाइल बनाता है जो search engine crawlers को बताती है कि वे आपकी साइट के किन हिस्सों को access कर सकते हैं या नहीं। खास user-agents के लिए allow/disallow rules, एक sitemap URL और वैकल्पिक crawl delay जोड़ें। जेनरेट हुई फ़ाइल आपके ब्राउज़र में बनती है और paste करने के लिए तैयार होती है — कुछ भी अपलोड नहीं होता।

Robots.txt Generatorआपके ब्राउज़र में चलता है

Robots.txt Generator का उपयोग कैसे करें

  1. एक rule जोड़ें: user-agent चुनें, फिर allow या disallow करने के लिए paths जोड़ें।
  2. वैकल्पिक रूप से अपना sitemap URL और crawl delay जोड़ें।
  3. जेनरेट हुआ robots.txt कॉपी करें या डाउनलोड करें।

अक्सर पूछे जाने वाले सवाल

मुझे अपनी robots.txt फ़ाइल कहां रखनी चाहिए?

इसे अपनी वेबसाइट के root में अपलोड करें (example.com/robots.txt)। ज़्यादातर CMS और hosting platforms इसे file manager या settings से जोड़ने देते हैं।

क्या मैं specific crawlers को block कर सकता हूं?

हां — हर rule किसी specific user-agent पर लागू होता है। उदाहरण के लिए आप Googlebot को block करके Bingbot को allow कर सकते हैं।

क्या मेरा डेटा अपलोड होता है?

नहीं — robots.txt पूरी तरह आपके ब्राउज़र में जेनरेट होता है।

संबंधित डेवलपर टूल