robots.txt Generator
Kostenloser robots.txt-Generator mit KI-Bot-Presets (GPTBot, ClaudeBot, PerplexityBot), URL-Tester und llms.txt-Generator. Keine Anmeldung erforderlich.
Aktualisiert Juni 2026
Geprüft von Rafael Duarte
Training (LLMs)
GPTBot
OpenAI
Google-Extended
anthropic-ai
Anthropic
CCBot
Common Crawl
Bytespider
ByteDance
Applebot-Extended
Apple
Amazonbot
Amazon
cohere-ai
Cohere
Browsing & Real-time
OAI-SearchBot
OpenAI
ClaudeBot
Anthropic
PerplexityBot
Perplexity
FacebookBot
Meta
Checked = allow indexing. Unchecked = Disallow: / injected for that User-agent.
Global Rules (User-agent: *)
Allowed Paths
Blocked Paths
Custom User-agent Blocks
No custom directives. Add a block below to target specific crawlers.
Sitemap URLs
Generate a context file for AI systems — the emerging standard for AI-friendly site documentation.
So funktioniert's
Von der Vorlage zur getesteten Datei
1. Vorlage wählen
Blog, E-Commerce, SaaS, Enterprise oder News — füllt die gängigsten Regeln automatisch vor.
2. KI-Bots konfigurieren
Jeden Crawler einzeln erlauben oder blockieren, oder "Block All" für alle auf einmal nutzen.
3. URL testen und exportieren
Prüfen, ob ein Pfad erlaubt oder blockiert wäre, bevor du kopierst oder herunterlädst.
Das kann dieser robots.txt-Generator
Gebaut für die Ära der KI-Crawler
12 einzelne KI-Bots
GPTBot, ClaudeBot, PerplexityBot, Google-Extended und weitere, einzeln aktivierbar oder blockierbar.
Integrierter URL-Tester
Pfad eingeben und sofort sehen, ob er erlaubt wäre — mit der exakten Regel, die greift.
llms.txt-Generator
Der neue Standard, um KI-Systemen die Struktur deiner Website zu erklären.
Vorlagen je Website-Typ
Blog, E-Commerce, SaaS, Enterprise, News — starte mit einer durchdachten Basis.
Vergleich mit der Live-robots.txt
Hole die veröffentlichte robots.txt jeder Domain und sieh einen Diff nebeneinander, bevor du die Datei in Produktion ersetzt.
Echtzeit-Validierung
Ein Linter zeigt leere Blöcke, doppelte User-Agents, Disallow: / ohne Allow und weitere Fehler während der Eingabe.
Regel-Beispiele
Wann du dieses Tool brauchst
Die häufigsten Situationen unter den Nutzer:innen
Facettierte Navigation blockieren
Online-Shops mit nahezu identischen Filter-URLs — /*? blockieren, um das Crawl-Budget nicht an Varianten derselben Seite zu verschwenden.
Admin-Bereich schützen
Ein Disallow auf /admin/ oder /wp-login.php ersetzt keine Authentifizierung, verhindert aber, dass diese Pfade versehentlich indexiert werden.
Sitemap deklarieren
Die sitemap.xml-URL ergänzen, damit jede Suchmaschine sie beim Lesen der robots.txt automatisch findet.
KI-Trainings-Crawler ausbremsen
Medien und Blogs blockieren GPTBot, CCBot oder Google-Extended, damit Originalinhalte nicht ohne Erlaubnis in Sprachmodelle einfließen.
Vor dem Produktiv-Deploy prüfen
Die echte robots.txt der Domain holen und mit der neuen Konfiguration vergleichen, bevor die Live-Datei überschrieben wird.
Konfiguration mit dem Team teilen
Der Share-Button erzeugt einen Link mit dem kodierten Gesamtzustand des Generators — in Slack einfügen, und wer ihn öffnet, sieht exakt dieselbe Konfiguration.
Häufige Fehler beim robots.txt erstellen
Seiten blockieren, die ranken sollen
Disallow: /blog/ verhindert, dass Googlebot den gesamten Blog crawlt — Disallow nur für Inhalte verwenden, die wirklich nicht gecrawlt werden sollen.
Crawling mit Indexierung verwechseln
Eine in robots.txt blockierte URL kann trotzdem in den Ergebnissen auftauchen, wenn externe Links darauf verweisen — noindex verwenden, um echte Indexierung zu verhindern.
Den abschließenden Schrägstrich vergessen
Disallow: /admin blockiert nur genau diesen Pfad; Disallow: /admin/ blockiert auch alle Unterverzeichnisse darunter.
CSS und JavaScript unabsichtlich blockieren
Google rendert die Seite mit geladenem CSS und JS, um die Qualität vor dem Ranking zu bewerten. Ein zu breites Disallow auf /assets/ oder /static/ kann das Ranking beschädigen, ohne einen klaren Hinweis zu geben.
Sich auf Crawl-delay verlassen, um die Serverlast zu steuern
Googlebot und Bingbot ignorieren die Crawl-delay-Direktive vollständig — nur einige kleinere Crawler respektieren sie. Der Linter dieses Generators warnt, wenn ein Wert gesetzt wird.
Denselben User-Agent in getrennten Blöcken duplizieren
Zwei Blöcke mit demselben User-Agent in benutzerdefinierten Direktiven verwirren Parser — manche lesen nur den ersten Block, andere führen die Regeln zusammen. Alles in einem einzigen Block pro User-Agent zusammenfassen.
Warum dieser robots.txt-Generator
Speziell für die Ära der KI-Crawler gebaut — individuelle Kontrolle über 12 verschiedene Bots, etwas, was generische robots.txt-Generatoren nicht bieten.
Der integrierte URL-Tester nimmt die Unsicherheit raus: Du bestätigst, dass eine Regel wie erwartet funktioniert, bevor du sie veröffentlichst, statt es erst später zu merken, wenn Google aufhört, einen ganzen Bereich zu crawlen.
Der Echtzeit-Linter und der Vergleich mit der Live-robots.txt der Domain schließen den Kreis: Du erzeugst nicht nur die Datei, du bestätigst auch, dass sie korrekt ist, und weißt genau, was sich ändert, bevor du überschreibst, was bereits in Produktion läuft.
Trainings-Crawler vs. Browsing-Crawler
Nicht jeder KI-Bot hat denselben Zweck
Häufig gestellte Fragen
Für jeden Crawler einen eigenen User-Agent-Block mit Disallow: / anlegen. In diesem Generator reicht der "Block All"-Schalter, um alle auf einmal hinzuzufügen, ohne etwas von Hand zu schreiben.
Weiterführende Ressourcen
Offizielle Google-Dokumentation zu Syntax und Verhalten der robots.txt.
Wie man das Crawling für das Modelltraining ablehnt.
Der IETF-Standard, der Syntax und erwartetes Verhalten der robots.txt formalisiert.
Verwandter Artikel
SEO técnico: checklist completo para sites novos
Verwandte Tools
- HTML Meta Tag Generator Marketing Erstelle vollständige HTML Meta Tags in Sekunden: title, description, robots, canonical, Open Graph und Twitter Cards. Code zum Kopieren und Einfügen bereit.
- Google SERP Vorschau Marketing Kostenloses Google Vorschau-Tool: Sehen Sie, wie Ihr Titel und Beschreibung in den Suchergebnissen erscheinen. Desktop, Mobil, Rich Snippets. Keine Anmeldung.
- Lesezeit Rechner Marketing Füge deinen Text ein oder gib die Wortanzahl ein, um sofort die Lesezeit für stilles Lesen, Vorlesen und Hörbuch-Narration zu schätzen. Kostenlos, ohne...
- Wörter Zähler Marketing Wörter, Zeichen, Absätze und Lesezeit sofort zählen. Detaillierte Textanalyse mit Keyword-Dichte. Kostenloser Online-Textzähler.
- Wortfrequenz Analysator Marketing Kostenloser Wortfrequenz-Analysator — Vorkommen zählen, Keyword-Dichte prüfen, Bi- und Trigramme finden. 100% im Browser, keine Anmeldung.
