robots.txt जनरेटर
बेहतरीन robots.txt बनाएँ: bot-वार नियम, sitemap, allow/disallow दृश्य सत्यापन के साथ।
कैसे उपयोग करें
- 1
टेम्पलेट
खुली साइट, staging ब्लॉक, चयनात्मक पहुँच।
- 2
डाउनलोड
/robots.txt में रखें।
तकनीकी विवरण
robots.txt क्रॉलर को बताता है कि कौन से भाग अनुक्रमणित करने हैं (RFC 9309)।
User-agent, Allow, Disallow और Sitemap निर्देश सभी मुख्य खोज इंजन समझते हैं।
अक्सर पूछे जाने वाले प्रश्न
कहाँ रखें?
डोमेन की जड़ में।
सब अनुमति?
User-agent: *, Allow: /।
Google मानता है?
हाँ।
समीक्षित:Easy Converter इंजीनियरिंग टीम
यह टूल हमारी इंजीनियरिंग टीम द्वारा परखा और कैलिब्रेट किया गया है। सारी प्रोसेसिंग आपके ब्राउज़र में होती है।