Gerador robots.txt
Gerador robots.txt grátis com presets de bots IA (GPTBot, ClaudeBot, PerplexityBot), testador de URL e gerador de llms.txt. Bloqueie crawlers em segundos.
Atualizado em junho de 2026
Revisado por Rafael Duarte
Training (LLMs)
GPTBot
OpenAI
Google-Extended
anthropic-ai
Anthropic
CCBot
Common Crawl
Bytespider
ByteDance
Applebot-Extended
Apple
Amazonbot
Amazon
cohere-ai
Cohere
Browsing & Real-time
OAI-SearchBot
OpenAI
ClaudeBot
Anthropic
PerplexityBot
Perplexity
FacebookBot
Meta
Checked = allow indexing. Unchecked = Disallow: / injected for that User-agent.
Global Rules (User-agent: *)
Allowed Paths
Blocked Paths
Custom User-agent Blocks
No custom directives. Add a block below to target specific crawlers.
Sitemap URLs
Generate a context file for AI systems — the emerging standard for AI-friendly site documentation.
Como usar
De um template a um arquivo testado
1. Escolha um template
Blog, E-commerce, SaaS, Enterprise ou Notícias — preenche as regras mais comuns automaticamente.
2. Configure os bots de IA
Ative ou bloqueie cada crawler individualmente, ou use "Block All" para todos de uma vez.
3. Teste uma URL e exporte
Verifique se um caminho seria permitido ou bloqueado antes de copiar ou baixar.
O que esta ferramenta faz
Construída para a era dos crawlers de IA
12 bots de IA individuais
GPTBot, ClaudeBot, PerplexityBot, Google-Extended e outros, ativados ou bloqueados um a um.
Testador de URL
Digite um caminho e veja se seria permitido, com a regra exata que se aplica.
Gerador de llms.txt
O novo padrão para comunicar a IA sobre a estrutura do seu site.
Templates por tipo de site
Blog, E-commerce, SaaS, Enterprise, Notícias — comece de uma base sólida.
Comparação com o robots.txt ao vivo
Busque o robots.txt publicado de qualquer domínio e veja um diff lado a lado antes de substituir o arquivo em produção.
Validador em tempo real
Um linter aponta blocos vazios, User-agent duplicado, Disallow: / sem Allow e outros erros enquanto você edita.
Exemplos de regras
Quando você vai usar isso
Os cenários mais comuns entre quem usa a ferramenta
Bloquear navegação facetada
E-commerce com URLs de filtro quase duplicadas — bloqueie /*? para evitar desperdício de crawl budget.
Proteger painel administrativo
Disallow em /admin/ e /wp-login.php, mesmo com autenticação como camada real de segurança.
Declarar sitemap
Inclua a URL do sitemap para todos os crawlers descobrirem automaticamente.
Proteção de conteúdo contra IA
Publicadores bloqueiam crawlers de treinamento para proteger conteúdo original.
Comparar antes de publicar
Busque o robots.txt ao vivo do domínio e veja o diff contra sua configuração antes de sobrescrever o arquivo em produção.
Compartilhar a configuração com o time
O botão Share gera um link com todo o estado do gerador codificado — cole no Slack e quem abrir vê exatamente a mesma configuração.
Erros comuns
Bloquear páginas que você quer indexar
Disallow: /blog/ impede o Googlebot de rastrear o blog inteiro — use só para o que não deve ser rastreado.
Confundir rastreamento com indexação
Uma URL bloqueada pode ainda aparecer nos resultados se tiver links externos — use noindex para impedir indexação de verdade.
Esquecer a barra final
Disallow: /admin bloqueia só o caminho exato; Disallow: /admin/ bloqueia todos os subdiretórios também.
Bloquear CSS e JavaScript por engano
O Google renderiza a página com CSS e JS para avaliar a qualidade antes de ranquear. Um Disallow largo demais em /assets/ ou /static/ pode derrubar seu ranqueamento sem nenhum aviso claro.
Confiar em Crawl-delay para controlar a carga
Googlebot e Bingbot ignoram completamente Crawl-delay — só alguns crawlers menores respeitam essa diretiva. O linter deste gerador avisa quando você define um valor.
Duplicar o mesmo User-agent em blocos separados
Dois blocos com o mesmo User-agent em diretivas customizadas confundem parsers — alguns usam só o primeiro bloco, outros mesclam as regras. Junte tudo num único bloco por User-agent.
Por que usar esta ferramenta
Construída especificamente para a era dos crawlers de IA — controle individual sobre 12 bots diferentes, algo que geradores genéricos de robots.txt não oferecem.
O testador de URL integrado elimina a incerteza: você confirma que uma regra funciona como esperado antes de publicar, em vez de descobrir depois.
O linter em tempo real e o comparador com o robots.txt ao vivo do domínio fecham o ciclo: você não só gera o arquivo, como confirma que ele está correto e sabe exatamente o que vai mudar antes de sobrescrever o que já está em produção.
Crawlers de treinamento vs. crawlers de browsing
Nem todo bot de IA tem o mesmo propósito
Perguntas frequentes
Adicione um bloco User-agent separado para cada crawler com Disallow: /. Use o toggle "Block All" deste gerador para adicionar todos com um clique.
Referências
Artigo relacionado
SEO técnico: checklist completo para sites novos
Ferramentas Relacionadas
- Gerador de Meta Tags HTML Marketing Gere meta tags HTML completas em segundos: title, description, robots, canonical, Open Graph e Twitter Cards. Código HTML pronto para copiar e colar.
- Preview Google — SERP Marketing Preview do Google grátis: veja como título, descrição e URL aparecem nos resultados de busca — desktop, mobile, rich snippets e redes sociais. Sem cadastro.
- Calculadora de Tempo de Leitura Marketing Cole seu texto ou insira a contagem de palavras para estimar instantaneamente o tempo de leitura silenciosa, em voz alta e de audiobook. Grátis, sem cadastro.
- Contador de Palavras Marketing Conte palavras, caracteres, parágrafos e tempo de leitura instantaneamente. Análise detalhada com densidade de palavras-chave.
- Analisador de Frequência de Palavras Marketing Analisador de frequência de palavras grátis — conte ocorrências, verifique densidade de keyword, encontre bigramas e trigramas. 100% no browser, sem cadastro.
