Générateur robots.txt
Générateur robots.txt gratuit avec presets bots IA (GPTBot, ClaudeBot, PerplexityBot), testeur URL et générateur llms.txt. Sans inscription.
Mis à jour juin 2026
Vérifié par Rafael Duarte
Entraînement (LLM)
GPTBot
OpenAI
Google-Extended
anthropic-ai
Anthropic
CCBot
Common Crawl
Bytespider
ByteDance
Applebot-Extended
Apple
Amazonbot
Amazon
cohere-ai
Cohere
ClaudeBot
Anthropic
Navigation et temps réel
OAI-SearchBot
OpenAI
Claude-SearchBot
Anthropic
Claude-User
Anthropic
PerplexityBot
Perplexity
FacebookBot
Meta
Coché = indexation autorisée. Décoché = Disallow: / ajouté pour ce User-agent.
Règles globales (User-agent: *)
Chemins autorisés
Chemins bloqués
Blocs User-agent personnalisés
Aucune directive personnalisée. Ajoutez un bloc ci-dessous pour cibler des robots précis.
URL des sitemaps
Générez un fichier de contexte pour les systèmes d’IA — le standard émergent pour documenter un site à destination des IA.
Comment créer votre fichier robots.txt
Un modèle, vos règles, les robots IA, puis un fichier prêt à déposer à la racine
1. Partez d'un modèle
Blog (WordPress), E-commerce, SaaS, Enterprise ou News : un clic préremplit les chemins à exclure les plus courants, que vous modifiez ensuite librement.
2. Choisissez les robots IA à bloquer
Décochez un robot (GPTBot, Google-Extended, CCBot…) pour ajouter un bloc User-agent avec Disallow: /, ou utilisez « Block All » pour les quatorze d'un coup.
3. Vérifiez, puis téléchargez
Le validateur signale les erreurs pendant la saisie, le testeur d'URL indique quelle règle s'applique à un chemin, et le fichier se copie ou se télécharge sous le nom robots.txt.
Ce que fait ce générateur robots.txt
Les règles classiques et le contrôle des robots d'IA au même endroit
14 robots IA prêts à bloquer
GPTBot et OAI-SearchBot (OpenAI), Google-Extended, ClaudeBot, Claude-SearchBot, Claude-User et anthropic-ai (Anthropic), CCBot, PerplexityBot, Bytespider, Applebot-Extended, Amazonbot, cohere-ai et FacebookBot, activables un par un et classés en deux colonnes : entraînement (« Training ») et recherche en direct (« Browsing & Real-time »).
Règles globales et blocs personnalisés
Allow et Disallow pour User-agent: *, plusieurs sitemaps, Crawl-delay facultatif et autant de blocs User-agent dédiés que nécessaire (Googlebot-Image, Bingbot…).
Validateur en temps réel
Il repère un Disallow: / sans Allow, des chemins qui ne commencent pas par /, un sitemap en http, un bloc sans User-agent ou un User-agent en double.
Testeur d'URL
Saisissez un chemin, choisissez un robot : l'outil applique uniquement le groupe User-agent de ce robot (ou le groupe * si aucun ne le nomme), indique si l'accès est autorisé, cite la ligne qui l'emporte et le groupe utilisé, comme le prévoit la RFC 9309.
Comparaison avec le fichier en ligne
Récupérez le robots.txt publié d'un domaine (ou collez-le si le site bloque la requête) et affichez un diff côte à côte avant de remplacer le fichier en production.
Générateur llms.txt et lien de partage
Créez un fichier llms.txt avec le nom du site, une description et les pages clés, et partagez toute la configuration par un simple lien.
Exemples de règles robots.txt
Comment Google interprète chaque ligne
Quand vous allez utiliser cet outil
Des besoins très différents, un même fichier
Refuser l'entraînement des IA
Éditeurs, médias et blogueurs bloquent GPTBot, Google-Extended ou CCBot pour signaler que leurs contenus ne doivent pas servir à entraîner des modèles.
Économiser le budget d'exploration
Une boutique en ligne écarte les pages de tri, de pagination, de panier et de compte client pour que les robots se concentrent sur les fiches produits.
Écarter l'espace d'administration
Excluez /wp-admin/ ou /dashboard/ de l'exploration — en complément d'une vraie authentification, jamais à sa place.
Déclarer le sitemap
Une ligne Sitemap: permet à tous les moteurs de trouver votre plan de site XML, même ceux où vous ne l'avez pas soumis manuellement.
Contrôler avant une mise en production
Comparez la nouvelle version avec le fichier en ligne pour repérer une ligne supprimée par erreur avant qu'elle ne bloque une partie du site.
Faire valider la configuration
Le bouton Share copie un lien qui contient toute la configuration : envoyez-le au client ou au développeur pour relecture.
Erreurs fréquentes dans un robots.txt
Bloquer une page pour la désindexer
robots.txt empêche l'exploration, pas l'indexation : une URL bloquée peut encore apparaître dans Google si des liens pointent vers elle. Pour retirer une page, utilisez une balise noindex — et laissez la page explorable, sinon Googlebot ne verra jamais la balise.
Bloquer les fichiers CSS et JavaScript
Google affiche la page comme un navigateur pour l'évaluer. Un Disallow trop large sur /assets/ ou /static/ peut l'empêcher de voir la mise en page réelle.
Croire qu'un robot cumule le groupe * et son propre groupe
Selon la RFC 9309, suivie par Google, un robot n'applique que le groupe User-agent qui le nomme ; le groupe * ne vaut que pour les robots sans groupe dédié. Si vous créez un bloc pour Googlebot, les Disallow du groupe * ne s'appliquent plus à lui : répétez-les dans son bloc. Le testeur d'URL suit cette logique et affiche le groupe retenu.
Se fier à Crawl-delay pour Google
Googlebot ignore Crawl-delay : pour Google, la vitesse d'exploration s'ajuste automatiquement selon la réponse du serveur. Bingbot et certains robots IA comme ClaudeBot respectent en revanche cette directive, ce que rappelle l'avertissement de l'outil.
Pourquoi utiliser cet outil
La plupart des générateurs robots.txt s'arrêtent aux règles Allow et Disallow. Celui-ci ajoute une liste de quatorze robots d'IA à bloquer en un clic, ce qui évite de recopier à la main des noms comme Google-Extended ou Applebot-Extended.
Le validateur, le testeur d'URL et le diff avec le fichier en ligne servent tous la même idée : savoir ce que vous publiez avant de le publier, plutôt que de découvrir des semaines plus tard qu'une section entière n'est plus explorée.
La configuration est générée dans votre navigateur et se partage par un lien qui contient l'état complet, sans compte ni stockage côté serveur.
Robots d'entraînement vs robots de recherche IA
Les bloquer n'a pas les mêmes conséquences
Questions fréquentes
Ajoutez un groupe par robot, par exemple « User-agent: GPTBot » suivi de « Disallow: / ». Chaque éditeur a ses propres robots : bloquer GPTBot ne bloque ni OAI-SearchBot ni les robots d'Anthropic ou de Perplexity. Dans l'outil, décochez chaque robot concerné ou utilisez « Block All ».
Références
Syntaxe, ordre de priorité des règles et choix du groupe User-agent, en français.
Le rôle de ClaudeBot, Claude-SearchBot et Claude-User, et comment les bloquer.
La norme IETF qui formalise le protocole d'exclusion des robots (en anglais).
Article associé
SEO técnico: checklist completo para sites novos
Outils connexes
- Générateur de Balises Meta HTML Marketing Générez des balises meta HTML complètes en quelques secondes : title, description, robots, canonical, Open Graph et Twitter Cards. Code HTML prêt à...
- Aperçu Google SERP Marketing Aperçu Google gratuit : voyez comment titre, description et URL apparaissent dans les résultats — bureau, mobile, rich snippets et social. Sans inscription.
- Calculateur de Temps de Lecture Marketing Collez votre texte et estimez le temps de lecture silencieuse (3 vitesses, 5 niveaux de complexité) et le temps de parole. Gratuit, sans inscription.
- Compteur de Mots Marketing Comptez les mots, caractères, paragraphes et le temps de lecture instantanément. Analyse textuelle détaillée avec densité de mots-clés. Gratuit en ligne.
- Analyseur de Fréquence de Mots Marketing Analyseur de fréquence de mots gratuit — comptez les occurrences, vérifiez la densité de mots-clés, trouvez bigrammes et trigrammes. 100% dans le navigateur.
