O que é um arquivo robots.txt?

Um arquivo robots.txt é um arquivo de texto que informa aos crawlers dos search engines quais páginas de um website devem ser rastreadas e quais devem ser excluídas.

Por que preciso de um arquivo robots.txt?

Um arquivo robots.txt ajuda a melhorar a rastreabilidade do website e evita que search engines façam crawl de páginas sensíveis ou indesejadas

Posso usar outras diretivas além de Allow e Disallow?

Sim, você pode usar outras diretivas como User-agent, Crawl-delay e Sitemap para personalizar seu arquivo robots.txt

Meu arquivo robots.txt está seguro?

Sim, nosso gerador cria um arquivo robots.txt seguro que não prejudicará a crawlability do seu site ou seus rankings nos mecanismos de busca.

Posso editar meu arquivo robots.txt depois?

Sim, você pode editar seu arquivo robots.txt a qualquer momento usando nosso generator ou editando manualmente o arquivo no seu website

fast

Gerador de Robots.txt — fast

Gere um arquivo robots.txt com um visual builder.

Rule 1

User-agent

Allow (one per line)

Disallow (one per line)

Sitemap URL

Crawl-delay (optional)

robots.txt

User-agent: *
Allow: /
Disallow: /admin

Sitemap: https://example.com/sitemap.xml

How to use Gerador de Robots.txt

Selecione suas regras de crawl

Escolha as URLs e os métodos de crawl que você deseja permitir ou bloquear para os crawlers de search engines

Personalize seu arquivo

Adicione ou modifique diretivas para atender às necessidades específicas do seu website, como desautorizar páginas específicas ou user agents

Baixe seu arquivo robots.txt

Obtenha seu arquivo robots.txt personalizado e faça upload para o diretório raiz do seu website

Perguntas Frequentes

Ferramentas Relacionadas

💻

Meta Tag Generator

Generate HTML meta tags for SEO and social media.

💻

.htaccess Generator

Generate Apache .htaccess rules for redirects and security.

💻

chmod Calculator

Calculate Unix file permissions in octal notation.