online
Trình Tạo Robots.txt — online
Tạo tệp robots.txt bằng visual builder.
Rule 1
User-agent: * Allow: / Disallow: /admin Sitemap: https://example.com/sitemap.xml
How to use Trình Tạo Robots.txt
1
Chọn các quy tắc crawl của bạn
Chọn các URL và phương pháp crawl mà bạn muốn cho phép hoặc không cho phép các search engine crawlers
2
Tùy chỉnh tệp của bạn
Thêm hoặc sửa đổi các directive để phù hợp với nhu cầu cụ thể của website của bạn, chẳng hạn như cấm truy cập các trang cụ thể hoặc user agents
3
Tải xuống tệp robots.txt của bạn
Lấy file robots.txt tùy chỉnh của bạn và tải nó lên thư mục gốc của website