
Ja, robots.txt ist der Standardweg, um KI-Crawlern mitzuteilen, ob sie Ihre Seiten indexieren oder für Training verwenden dürfen, aber die Einhaltung ist freiwillig. Verwenden Sie benannte Tokens wie GPTBot um Trainings-Crawler zu blockieren und suchorientierte Tokens erlaubt zu lassen, wenn Ihre Seiten weiterhin in KI-Suchergebnissen zitiert werden sollen. Die Datei stoppt einen böswilligen Bot nicht technisch, aber alle großen KI-Anbieter dokumentieren das und respektieren es.
Kurz gesagt:
- Legen Sie robots.txt im Stammverzeichnis der Domain ab, erstellen Sie für jede Subdomain eine eigene Datei und schreiben Sie User-agent und Disallow exakt mit dieser Groß- und Kleinschreibung, weil Direktivennamen case-sensitive sind.
- OpenAI trennt seinen Suchcrawler von seinem Trainingscrawler. So können Sie Suchzitate erlauben und Training blockieren; Änderungen können etwa 24 Stunden brauchen.
- Die Google-Steuerung für KI-Training wirkt sich nicht auf das Such-Crawling durch Googlebot aus; für den Ausschluss bei Anthropic sind separate Regeln für beide Trainingscrawler nötig.
- Eine ausgeschlossene Seite kann ihr noindex-Tag Crawlern nicht anzeigen. Verwenden Sie daher Meta-Direktiven für HTML-Seiten und HTTP-Header für PDFs und Bilder.
- Robots.txt kann sensible Inhalte nicht schützen und nicht-konforme Bots nicht stoppen; nutzen Sie für private Inhalte Authentifizierung und CDN- oder WAF-Blocking, wenn Anfragen weiterlaufen.
Kopierbare robots.txt-Snippets zum Blockieren oder Zulassen von KI-Crawlern
Eine robots.txt-Datei liegt im Stammverzeichnis Ihrer Domain (yoursite.com/robots.txt), niemals in einem Unterordner, und jede Subdomain braucht ihre eigene Kopie. Direktivennamen und User-Agent-Tokens unterscheiden zwischen Groß- und Kleinschreibung, daher müssen Disallow und User-agent genau wie gezeigt geschrieben werden, auch wenn die von Ihnen angegebenen Pfade je nach Serverkonfiguration variieren können.
Eine minimale Konfiguration, die Training-Crawler blockiert und die Sichtbarkeit in der Suche beibehält, sieht so aus:
User-agent: GPTBotgefolgt vonDisallow: /um den Training-Crawler von OpenAI auszuschließen.User-agent: OAI-SearchBotgefolgt vonAllow: /damit Sie weiter in den ChatGPT-Suchergebnissen erscheinen.User-agent: *gefolgt vonAllow: /damit allgemeine Crawler, einschließlich Suchmaschinen, vollen Zugriff behalten.
Für Websites, die AI-Training vollständig ausschließen möchten, wiederholt eine Fallback-Sperrliste einfach Disallow: / unter jedem benannten Training-Token (GPTBot, Google-Extended, ClaudeBot und anderen), während die Wildcard-Gruppe für Suchmaschinen offen bleibt. Eine vorsichtige Vorlage nach dem Prinzip „nichts blockieren“ lässt die benannten Gruppen ganz weg und verwendet nur User-agent: * mit Allow: /, was dem Standardzustand entspricht, wenn Sie überhaupt keine robots.txt-Datei anlegen.
Halten Sie die Datei kurz. Search Engine Land empfiehlt, nur die spezifischen Training-Tokens zu sperren, die Sie ausschließen möchten, statt zu versuchen, jeden Crawler, den Sie zulassen wollen, explizit freizugeben, denn breite Allow-Listen sind schwieriger zu pflegen und anfälliger für versehentliche Sperren der gesamten Website.

Profi-Tipp: Testen Sie jede neue robots.txt-Änderung zuerst auf einer Staging-Subdomain, denn ein falsch platziertes Wildcard-Zeichen kann versehentlich zusammen mit den AI-Crawlern, die Sie ausschließen wollten, auch Googlebot blockieren.
So funktionieren User-Agent-Tokens und Vorrangregeln
Das Parsen von robots.txt folgt strengen Regeln, und Fehler dabei sind der einfachste Weg, Suchmaschinen versehentlich auszusperren. Nach RFC 9309dürfen User-Agent-Tokens nur Buchstaben, Unterstriche und Bindestriche enthalten, daher sind Wildcards innerhalb eines Tokennamens selbst ungültig. Sie müssen jeden Crawler, den Sie ansprechen wollen, mit seinem exakten Namen aufführen, statt zu versuchen, mehrere gleichzeitig per Muster abzugleichen.
Einige wenige Regeln entscheiden, welche Gruppe und welche Regel tatsächlich gelten:
- Eine benannte Gruppe wie
User-agent: GPTBothat Vorrang vor der Wildcard-GruppeUser-agent: *für genau diesen Crawler. - Wenn mehrere
DisallowoderAllow-Regeln auf eine URL passen könnten, gewinnt der längste passende Pfad, unabhängig davon, welche Regel zuerst in der Datei steht. - Ein nachgestelltes
$verankert eine Regel am exakten Ende eines Pfads, sodass Sie einen bestimmten Dateityp blockieren können, ohne ein gesamtes Verzeichnis zu beeinträchtigen.
Schon ein einzelnes falsches Zeichen im Tokennamen führt dazu, dass der Crawler einfach auf die Wildcard-Gruppe zurückfällt statt auf die von Ihnen beabsichtigte Regel.
Wichtige anbieterspezifische Einträge in robots.txt
Jeder große AI-Anbieter veröffentlicht eigene Tokens, und diese lassen sich nicht immer direkt einem einzelnen Bot zuordnen. OpenAI verwendet OAI-SearchBot für die Suchindexierung und GPTBot für das Sammeln von Trainingsdaten, und beide werden unabhängig voneinander gesteuert, sodass Sie das eine erlauben und das andere sperren können. Änderungen an beiden Direktiven können etwa 24 Stunden brauchen, bis sie wirksam werden, gemäß der eigenen Dokumentation von OpenAI. Erwarten Sie also nach dem Bearbeiten Ihrer Datei keine sofortige Änderung des Crawl-Verhaltens.
Bei Google Google-Extended ist ein Steuerungs-Token, kein eigener HTTP-Request-Agent. Es regelt, ob die AI-Produkte von Google Ihre Inhalte für Training und generative Funktionen verwenden dürfen, während Googlebot für die Suche weiterhin nach seinen eigenen Regeln crawlt.
User-agent: GPTBotmitDisallow: /schließt OpenAI-Training aus, währendOAI-SearchBotunberührt bleibt.User-agent: Google-ExtendedmitDisallow: /schließt die Nutzung durch Google für KI-Training aus, ohne die normale Suchindexierung zu beeinträchtigen.User-agent: anthropic-aiundUser-agent: ClaudeBotdecken die Crawler von Anthropic ab, und beide benötigen in der Regel ein ausdrücklichesDisallowwenn Sie das Training ausschließen möchten.User-agent: Applebot-Extendedsteuert Apples Nutzung für KI-Training getrennt vom eigentlichenApplebotdas für Siri und Spotlight verwendet wird.- Bei den Crawlern von Perplexity empfiehlt sich zusätzlich eine Durchsetzung auf Edge-Ebene, denn Berichte haben Fälle beschrieben, in denen Anweisungen nicht eingehalten wurden und ein Crawler trotz einer Disallow-Regel weiterhin Seiten abgerufen hat.
Robots.txt mit Meta-Tags und Edge-Durchsetzung kombinieren
Robots.txt ist eine Bitte, keine Barriere, und die eigene Dokumentation von Google bestätigt, dass die Einhaltung freiwillig ist und keine verbindliche Sicherheitsmaßnahme darstellt. Gesperrte Seiten können in Suchergebnissen dennoch als bloße URLs erscheinen, und weil eine Disallow -Regel verhindert, dass die Seite überhaupt abgerufen wird, wird ein noindex -Meta-Tag, das Sie auf dieser Seite platziert haben, nie gelesen.
Deshalb ist diese Kombination wichtig. HTML-Seiten können noai oder noimageai -Meta-Anweisungen für Opt-outs auf Seitenebene tragen, während Nicht-HTML-Ressourcen wie PDFs, Bilder und Feeds stattdessen einen X-Robots-Tag -HTTP-Header benötigen, da es keinen Seiteninhalt gibt, der ein Meta-Tag aufnehmen könnte.
- Verwenden Sie robots.txt als erste Ebene für Crawler, die die Datei lesen und respektieren.
- Ergänzen Sie Meta-Tags oder
X-Robots-Tag-Header für eine granulare Steuerung pro Seite oder Dateityp. - Setzen Sie auf Authentifizierung oder Passwortschutz, wenn Inhalte wirklich sensibel sind, denn robots.txt wurde nie als Sicherheitsmaßnahme entwickelt.
- Prüfen Sie Cloudflare’s Bot Preference Sync, das verwaltete Anweisungen Ihrer bestehenden robots.txt voranstellen und diese Präferenzen mit einer auf Edge-Ebene erzwungenen Blockierung nach Kategorie (Search, Agent, Training) kombinieren kann, damit Ihre festgelegten Präferenzen und die tatsächliche Durchsetzung übereinstimmen.
Profi-Tipp: Wenn ein Crawler Ihre robots.txt vollständig ignoriert, ist die Durchsetzung über Ihr CDN oder Ihre WAF die einzige Ebene, die die Anfrage tatsächlich stoppt.
Testen und prüfen, ob Ihre Anweisungen funktionieren
Um zu bestätigen, dass ein Crawler Ihre robots.txt tatsächlich beachtet, brauchen Sie eher eine kurze Checkliste als bloßes Rätselraten.
- Prüfen Sie Ihre Server-Logs auf Anfragen an
/robots.txtvon den spezifischen User-Agents der Anbieter, die Sie gezielt angesprochen haben, und bestätigen Sie, dass sie vor jedem Crawl gesperrter Pfade erscheinen. - Berücksichtigen Sie Aktualisierungsfenster der Anbieter. Laut der Dokumentation von OpenAI kann es ungefähr 24 Stunden dauern, bis Änderungen übernommen sind. Prüfen Sie daher erst nach einem ganzen Tag erneut statt sofort.
- Verwenden Sie ein Live-Fetch-Tool oder einen Validator, zum Beispiel BabyLoveGrowth’s robots.txt checker, um zu bestätigen, dass Ihre Syntax korrekt ausgewertet wird und Ihrer Absicht entspricht.
- Prüfen Sie Berichte aus CDN oder WAF zusammen mit Ihren robots.txt-Regeln, um Crawler zu erkennen, die trotz Ihrer Anweisungen weiterhin gesperrte Pfade abrufen.
- Richten Sie eine gezielte Testseite mit einer eindeutigen Disallow-Regel ein und beobachten Sie, ob sie in den folgenden Tagen in der Ausgabe dieses Anbieters erscheint.
KI-Sichtbarkeit und Opt-out vom Training abwägen
Für E-Commerce-Websites läuft die Entscheidung meist auf drei Faktoren hinaus: wie viel Umsatz von KI-getriebenen Verweisen abhängt, wie sensibel Ihre Produktinhalte sind und wie häufig sich Ihr Katalog ändert. Wenn Zitate in der KI-Suche relevanten Traffic bringen, erlauben Sie die Search-Tokens und sperren Sie nur die Training-Tokens. Wenn sich Ihre Beschreibungen, Preise oder Bilder leicht scrapen und anderswo neu verpacken lassen, schützt das Sperren von Training-Crawlern diese Investition. Händler, die eher auf Sichtbarkeit setzen, brauchen trotzdem eine Möglichkeit zu messen, ob das funktioniert. Genau dort hat ein spezielles Optimierungstool seinen Platz.
— Xhurian
ecentic: Ihre KI-Shopping-Sichtbarkeit messen und optimieren
Die Entscheidung, Search-Tokens zu erlauben, ist nur die halbe Arbeit. Die schwierigere Frage ist, ob KI-Einkaufsagenten wie ChatGPT und Gemini Ihre Produkte tatsächlich empfehlen, sobald sie sie sehen können. Wir haben ecentic gebaut, um genau diese Frage direkt zu beantworten: Wir verbinden uns mit Ihrem Shopify- oder WooCommerce-Shop, simulieren, wie KI-Agenten Ihre Produktseiten bewerten, und zeigen Ihnen genau, wo Sie im Vergleich zu Wettbewerbern gewinnen oder verlieren.

Wenn Ihr Ziel mehr KI-getriebener Traffic statt weniger ist, ist Optimierung besser als Blockieren. Wir verwandeln unsere Analysen in konkrete Vorschläge zum Umschreiben und veröffentlichen sie mit einem Klick in Ihrem Shop, sodass sich die Lücke zwischen „für KI sichtbar“ und „von KI empfohlen“ schließen kann.
- Führen Sie simulationsgestützte Scans aus, um zu sehen, wie verschiedene KI-Einkaufsagenten Ihre Produktangebote lesen.
- Erhalten Sie konkrete, leicht verständliche Empfehlungen für bestimmte Produktseiten statt allgemeiner SEO-Ratschläge.
- Veröffentlichen Sie Korrekturen direkt in Shopify oder WooCommerce, ohne Ihr Dashboard zu verlassen.
Starten Sie mit einem kostenlosen Produkt-Scan und sehen Sie, wo Ihre Produktangebote heute stehen.
FAQ
Ist es rechtlich zulässig, robots.txt zum Blockieren von KI-Bots zu verwenden?
Ja, das Veröffentlichen einer robots.txt-Datei und das Auflisten beliebiger Crawler-Tokens, die Sie ausschließen möchten, ist ein gängiger und rechtlich zulässiger Teil des Website-Betriebs im Rahmen des Robots Exclusion Protocol. Damit drücken Sie lediglich Ihre Präferenzen für das Crawling aus; die Datei hat für sich genommen keine rechtliche Durchsetzungskraft. Kombinieren Sie sie daher mit Authentifizierung für alles, was wirklich geschützt werden muss.
Gibt es einen Chatroom oder ein Forum, um das Verhalten von KI-Bots zu besprechen?
Es gibt keinen einzelnen offiziellen Chatroom von KI-Anbietern für Fragen zu robots.txt. Jeder Anbieter veröffentlicht jedoch eigene Dokumentation, etwa die Crawler-Übersicht von OpenAI und die robots.txt-Hinweise von Google. Das sind die verlässlichsten Stellen, um das aktuelle Verhalten von Tokens zu prüfen.
Wird robots.txt heute noch verwendet und ist sie noch relevant?
Robots.txt ist weiterhin der wichtigste, von Anbietern anerkannte Weg, um Crawler-Präferenzen anzugeben, auch für neuere KI-Bots für Training und Suche von OpenAI, Google und Anthropic. Große KI-Unternehmen dokumentieren und aktualisieren ihre unterstützten Tokens weiterhin. Deshalb ist robots.txt noch immer die erste Einstellung, die die meisten Website-Betreiber konfigurieren.
Machen Bots den Großteil des Internet-Traffics aus?
Bot-Traffic, darunter Such-Crawler und KI-Agenten, macht einen relevanten Anteil der Anfragen aus, die die meisten Websites erreichen. Der genaue Anteil variiert jedoch stark je nach Website und Branche. Am zuverlässigsten erkennen Sie das Ausmaß Ihres automatisierten Traffics, wenn Sie in Ihren eigenen Server-Logs nach Crawler-User-Agents suchen, statt sich auf eine einzelne branchenweite Kennzahl zu verlassen.
Blockiert das Sperren von GPTBot auch Suchergebnisse in ChatGPT?
Nein, das Blockieren von GPTBot meldet Ihre Website nur von der Erfassung von Trainingsdaten ab und hat keinen Einfluss auf OAI-SearchBot, das OpenAI für die Suchindexierung separat steuert. Sie müssen OAI-SearchBot gezielt sperren, wenn Sie Ihre Seiten auch aus den Suchergebnissen von ChatGPT ausschließen möchten.
Diese Themen entdecken