best
Robots.txt Generator — best
ToolHQ के साथ एक visual builder की मदद से robots.txt file generate करें।
Rule 1
User-agent: * Allow: / Disallow: /admin Sitemap: https://example.com/sitemap.xml
How to use Robots.txt Generator
1
अपने crawl rules चुनें
उन URLs और crawl methods को चुनें जिन्हें आप search engine crawlers के लिए allow या disallow करना चाहते हैं
2
अपनी file को customize करें
ToolHQ की आवश्यकताओं के अनुसार directives को जोड़ें या संशोधित करें, जैसे कि विशिष्ट pages या user agents को disallow करना।
3
अपनी robots.txt file download करें
अपनी custom robots.txt file प्राप्त करें और इसे अपनी website की root directory में upload करें