Generador robots.txt
Generador robots.txt gratis con presets para bots IA (GPTBot, ClaudeBot, PerplexityBot), probador de URL y generador llms.txt. Sin registro.
Actualizado junio de 2026
Revisado por Rafael Duarte
Training (LLMs)
GPTBot
OpenAI
Google-Extended
anthropic-ai
Anthropic
CCBot
Common Crawl
Bytespider
ByteDance
Applebot-Extended
Apple
Amazonbot
Amazon
cohere-ai
Cohere
Browsing & Real-time
OAI-SearchBot
OpenAI
ClaudeBot
Anthropic
PerplexityBot
Perplexity
FacebookBot
Meta
Checked = allow indexing. Unchecked = Disallow: / injected for that User-agent.
Global Rules (User-agent: *)
Allowed Paths
Blocked Paths
Custom User-agent Blocks
No custom directives. Add a block below to target specific crawlers.
Sitemap URLs
Generate a context file for AI systems — the emerging standard for AI-friendly site documentation.
Cómo funciona
De una plantilla a un archivo probado, en tres pasos
1. Elige una plantilla de sitio
Blog, E-commerce, SaaS, Enterprise o Noticias — cada una precarga las reglas Disallow más comunes para ese tipo de sitio.
2. Decide qué bots de IA permitir
Activa o bloquea GPTBot, ClaudeBot, PerplexityBot y otros uno por uno, o usa "Block All" para bloquearlos todos de una vez.
3. Prueba una URL y exporta
Comprueba si una ruta quedaría permitida o bloqueada antes de copiar el archivo o descargarlo.
Qué incluye este generador de robots.txt
Pensado para la era de los crawlers de IA, no solo para Googlebot
Control individual de 12 bots de IA
GPTBot, ClaudeBot, PerplexityBot, Google-Extended y otros, cada uno con su propio interruptor de permitir o bloquear.
Probador de URL integrado
Escribe una ruta y un user-agent, y el generador te dice si quedaría permitida o bloqueada, y con qué regla exacta.
Generador de llms.txt
Crea el archivo llms.txt, el estándar emergente para documentar tu sitio a los sistemas de IA.
Plantillas por tipo de sitio
Blog, E-commerce, SaaS, Enterprise o Noticias — arranca desde una base ya pensada para ese caso.
Comparación con el robots.txt en vivo
Trae el robots.txt publicado de cualquier dominio y compáralo línea por línea antes de reemplazar el archivo real.
Validador en tiempo real
Un linter detecta bloques vacíos, user-agents duplicados, Disallow: / sin ningún Allow y otros errores mientras editas.
Ejemplos de reglas
Qué pasa con cada combinación de user-agent y ruta
Cuándo vas a necesitar esta herramienta
Los escenarios más frecuentes entre quienes generan un robots.txt
Bloquear navegación por facetas
Tiendas online con URLs de filtros casi duplicadas — bloquea /*? para no desperdiciar el crawl budget en variantes de la misma página.
Proteger el panel de administración
Un Disallow en /admin/ o /wp-login.php no reemplaza la autenticación, pero evita que esas rutas aparezcan indexadas por error.
Declarar el sitemap
Agrega la URL del sitemap.xml para que cualquier buscador la descubra automáticamente al leer el robots.txt.
Frenar el rastreo de bots de entrenamiento de IA
Medios y blogs bloquean GPTBot, CCBot o Google-Extended para que su contenido original no alimente modelos de lenguaje sin permiso.
Verificar antes de publicar en producción
Trae el robots.txt real del dominio y compáralo con tu configuración nueva antes de sobrescribir el archivo en vivo.
Compartir la configuración con el equipo
El botón Share genera un enlace con todo el estado del generador codificado — lo pegas en Slack y quien lo abra ve exactamente la misma configuración.
Errores comunes al crear un robots.txt
Fallos que cuestan tráfico o posicionamiento sin dar ningún aviso
Bloquear páginas que quieres posicionar
Disallow: /blog/ le impide a Googlebot rastrear el blog entero — reserva Disallow solo para lo que de verdad no debe rastrearse.
Confundir rastreo con indexación
Una URL bloqueada en robots.txt igual puede aparecer en los resultados si tiene enlaces externos apuntando a ella — usa noindex si quieres evitar la indexación de verdad.
Olvidar la barra final en la ruta
Disallow: /admin bloquea solo esa ruta exacta; Disallow: /admin/ bloquea también todos los subdirectorios debajo.
Bloquear CSS y JavaScript sin darse cuenta
Google renderiza la página con CSS y JS cargados para evaluar su calidad antes de posicionarla. Un Disallow demasiado amplio en /assets/ o /static/ puede perjudicar el ranking sin ningún error visible.
Confiar en Crawl-delay para controlar la carga del servidor
Googlebot y Bingbot ignoran por completo la directiva Crawl-delay — solo algunos crawlers menores la respetan. El linter de este generador avisa cuando defines un valor.
Duplicar el mismo user-agent en bloques separados
Dos bloques con el mismo user-agent en directivas personalizadas confunden a los parsers — algunos solo leen el primer bloque, otros fusionan las reglas. Junta todo en un único bloque por user-agent.
Por qué usar este generador de robots.txt
Está pensado específicamente para la era de los crawlers de IA — control individual sobre 12 bots distintos, algo que los generadores genéricos de robots.txt no ofrecen.
El probador de URL integrado elimina la incertidumbre: confirmas que una regla funciona como esperabas antes de publicarla, en lugar de descubrirlo después de que Google deje de rastrear una sección entera.
El validador en tiempo real y el comparador contra el robots.txt en vivo del dominio cierran el círculo: no solo generas el archivo, también confirmas que está correcto y sabes exactamente qué va a cambiar antes de sobrescribir lo que ya está en producción.
Bots de entrenamiento vs. bots de navegación
No todos los crawlers de IA cumplen el mismo propósito
Preguntas frecuentes
Agrega un bloque User-agent separado para cada crawler con Disallow: /. En este generador basta con activar el interruptor "Block All" para añadirlos todos de una vez, sin escribir nada a mano.
Referencias
Documentación oficial de Google sobre la sintaxis y el comportamiento del robots.txt.
Cómo declarar en robots.txt que no quieres que GPTBot use tu contenido para entrenamiento.
El estándar del IETF que formaliza la sintaxis y el comportamiento esperado del robots.txt.
Artículo relacionado
SEO técnico: checklist completo para sites novos
Herramientas relacionadas
- Generador de Meta Tags HTML Marketing Genera meta tags HTML completas en segundos: title, description, robots, canonical, Open Graph y Twitter Cards. Código HTML listo para copiar y pegar.
- Preview Google — SERP Marketing Preview Google gratis: ve cómo título, descripción y URL aparecen en búsqueda — escritorio, móvil, rich snippets y redes sociales. Sin registro.
- Calculadora de Tiempo de Lectura Marketing Pega tu texto o introduce el número de palabras para estimar al instante el tiempo de lectura silenciosa, en voz alta y de audiolibro. Gratis, sin registro.
- Contador de Palabras Marketing Cuenta palabras, caracteres, párrafos y tiempo de lectura al instante. Análisis detallado de texto con densidad de palabras clave. Gratis online.
- Analizador de Frecuencia de Palabras Marketing Analizador de frecuencia de palabras gratuito — cuenta ocurrencias, verifica densidad de keywords, encuentra bigramas y trigramas. 100% en el navegador.
