Robots.txt Generator
Generieren Sie eine robots.txt-Datei mit einem visuellen Builder.
Rule 1
User-agent: * Allow: / Disallow: /admin Sitemap: https://example.com/sitemap.xml
How to use Robots.txt Generator
1
Wählen Sie Ihre Crawl Rules
Wählen Sie die URLs und Crawl-Methoden aus, die Sie für Search-Engine-Crawler zulassen oder deaktivieren möchten
2
Passen Sie Ihre Datei an
Fügen Sie Directives hinzu oder ändern Sie sie entsprechend den spezifischen Anforderungen Ihrer Website, z. B. um bestimmte Seiten oder User Agents zu blockieren
3
Laden Sie Ihre robots.txt-Datei herunter
Rufen Sie Ihre custom robots.txt Datei ab und laden Sie sie in das Root-Verzeichnis Ihrer Website hoch