KI-Crawler steuern: robots.txt, Drosselung und Zugriff

Die drei Zwecke wirken sich unterschiedlich auf Ihre Sichtbarkeit aus, weshalb OpenAI und Anthropic für jeden Zweck einen eigenen Crawler mit eigener Kennung betreiben. Eine Sperre des Trainings-Crawlers betrifft daher allein die Verwendung Ihrer Inhalte für künftige Modelle, während Ihre Seiten in den Suchfunktionen der Assistenten weiterhin erscheinen können. Gesteuert wird diese Trennung über Gruppen in der robots.txt, die jeweils einen Crawler mit seinem Namen ansprechen und für ihn eigene Regeln festlegen.

Unabhängig von dieser Datei kann ein Server oder Ihr Hosting-Anbieter Drosselungen einrichten, die sich in Statuscodes wie 429 für zu viele Anfragen äußern. Auch ein von Ihrer robots.txt ausdrücklich zugelassener Crawler wird dadurch unter Umständen zeitweise abgewiesen, obwohl Ihre Website im Browser fehlerfrei lädt. Ob Ihre Einstellungen wie geplant wirken, zeigt deshalb erst die Prüfung der Antworten, die Ihr Server an die einzelnen Crawler tatsächlich zurückgibt.

Welche KI-Crawler es gibt und wofür sie Inhalte abrufen

Für das Training ihrer Sprachmodelle sammeln OpenAI mit GPTBot und Anthropic mit ClaudeBot öffentlich zugängliche Inhalte, die in künftige Modellgenerationen einfließen können. Mit einem Ausschluss von GPTBot in der robots.txt teilen Sie OpenAI mit, dass Ihre Inhalte nicht für das Training generativer Basismodelle verwendet werden sollen. Eine Sperre von ClaudeBot bewirkt entsprechend, dass Anthropic die Inhalte Ihrer Website künftig aus seinen Trainingsdaten heraushält.

Für ihre Suchfunktionen betreiben beide Anbieter eigene Crawler, die Seiten für einen Suchindex erfassen und deren Namen auf SearchBot enden. OAI-SearchBot liefert die Webseiten, die ChatGPT in seinen Suchergebnissen anzeigt, und Claude-SearchBot erfasst Inhalte für die Ergebnisse der Websuche in Claude. Eine Sperre dieser beiden Crawler verringert die Sichtbarkeit Ihrer Seiten in den Antworten mit Quellenangaben und damit die Grundlage für Erwähnungen in KI-Antworten.

Die dritte Gruppe bilden Abrufe im Auftrag einer Person, die ChatGPT unter der Kennung ChatGPT-User und Claude unter Claude-User ausführen, sobald im Gespräch eine bestimmte Seite gebraucht wird. Weil hier eine Person den Abruf auslöst, gelten die Regeln der robots.txt für ChatGPT-User möglicherweise nicht und OpenAI setzt diesen Agenten auch nicht für das automatische Crawlen ein. Anthropic wendet die robots.txt dagegen auch auf Claude-User an, sodass eine Sperre dort die Abrufe Ihrer Seiten während eines Gesprächs unterbindet.

Google regelt die Verwendung für KI-Modelle über eine eigene Angabe namens Google-Extended, die Sie in der robots.txt wie einen Crawler ansprechen. Die eigentlichen Abrufe laufen dabei weiterhin unter den bekannten Kennungen von Google. Mit einer Sperre von Google-Extended untersagen Sie die Verwendung der von Google erfassten Inhalte für das Training künftiger Gemini-Modelle sowie für das Grounding in den Gemini-Apps, also die Absicherung von Antworten mit Quellen. Die Aufnahme Ihrer Seiten in die Google-Suche und ihr Ranking bleiben von dieser Angabe unberührt, da die Suche ihre Inhalte weiterhin über den Googlebot bezieht.

So ist die robots.txt aufgebaut

Die robots.txt liegt als einfache Textdatei im Hauptverzeichnis einer Domain und ist dort unter einer Adresse wie ihre-domain.de/robots.txt erreichbar. Sie gilt jeweils für das Protokoll und den Hostnamen, unter denen sie abgerufen wird, sodass eine Subdomain wie shop.ihre-domain.de eine eigene Datei benötigt. Schreibweise und Auswertung der Regeln legt seit September 2022 der Internetstandard RFC 9309 fest, den die Internet Engineering Task Force herausgegeben hat.

Jede Gruppe beginnt mit einer oder mehreren Zeilen wie User-agent: GPTBot, auf die Regeln mit Disallow für gesperrte und Allow für freigegebene Pfade folgen. Die Zeile Disallow: / sperrt die gesamte Website, während Disallow: /intern/ allein das Verzeichnis mit diesem Namen ausschließt. Bei den Namen der Crawler spielt die Groß- und Kleinschreibung keine Rolle, bei den Pfaden dagegen schon, weshalb /Intern/ und /intern/ als verschiedene Adressen gelten.

Findet ein Crawler eine Gruppe mit seinem eigenen Namen, folgt er ausschließlich deren Regeln und lässt die allgemeine Gruppe mit dem Sternchen unberücksichtigt. Gelten für einen Pfad sowohl eine Allow- als auch eine Disallow-Regel, entscheidet die längere und damit genauere Angabe, und bei gleicher Länge erhält die Freigabe den Vorzug. Möchten Sie GPTBot sperren und alle übrigen Crawler zulassen, genügen deshalb zwei Gruppen, nämlich User-agent: GPTBot mit Disallow: / und User-agent: * mit Allow: /.

Mit einer Zeile wie Sitemap: https://ihre-domain.de/sitemap.xml verweist die Datei zusätzlich auf Ihre Sitemap, die Google unabhängig von den Gruppen auswertet. Google liest höchstens 500 Kibibyte oder 512.000 Byte einer robots.txt und hält ihren Inhalt in der Regel bis zu 24 Stunden im Zwischenspeicher, sodass eine Änderung erst nach dieser Frist sicher wirkt. Fehlt die Datei und antwortet der Server mit 404, gilt die gesamte Website als freigegeben, während ein Serverfehler beim Abruf der robots.txt Google zunächst für zwölf Stunden vom Crawlen abhält.

KI-Crawler gezielt zulassen oder sperren

Bewährt hat sich, die Entscheidung für jeden der drei Zwecke getrennt zu treffen, da OpenAI die Einstellungen für Training und Suche unabhängig voneinander auswertet. Ein Unternehmen, das seine Texte vom Training ausnehmen und in den Suchfunktionen der Assistenten trotzdem erscheinen möchte, sperrt GPTBot und ClaudeBot und lässt OAI-SearchBot und Claude-SearchBot zu. Für eine Grounding Page mit den Kerndaten Ihres Unternehmens ist die Freigabe dieser Such-Crawler entscheidend, weil die Suchfunktionen von ChatGPT und Claude auf die Seiten zurückgreifen, die diese Crawler erfasst haben. Soll Ihre Website in allen KI-Diensten vorkommen, genügt die allgemeine Gruppe mit dem Sternchen und der Regel Allow: /, die jeden Crawler ohne eigene Gruppe einschließt.

Die robots.txt ist keine Zugangskontrolle, da sie Wünsche an Crawler beschreibt, deren Einhaltung bei den Anbietern dieser Programme liegt. Für vertrauliche Bereiche eignet sich deshalb ein Passwortschutz auf dem Server, der Inhalte erst nach einer Anmeldung ausliefert. Möchten Sie eine Seite aus dem Suchindex von Google heraushalten, setzen Sie die Anweisung noindex im Quelltext oder den X-Robots-Tag im HTTP-Header. Eine in der robots.txt gesperrte Adresse kann dagegen weiterhin als Eintrag ohne Beschreibung in den Ergebnissen erscheinen.

Für Abrufe im Auftrag einer Person wirkt die robots.txt bei OpenAI nur eingeschränkt, weil ihre Regeln für ChatGPT-User möglicherweise nicht gelten. Sperren nach IP-Adressen wirken als Ausschluss unzuverlässig und können den Abruf der robots.txt selbst verhindern. Übersichtlich bleibt Ihre Datei, wenn Sie für jeden Crawler genau eine Gruppe anlegen und die Namen aus der Dokumentation des jeweiligen Anbieters übernehmen.

Drosselung: Was die Statuscodes 429, 503 und 403 bewirken

Ein Server bremst Crawler, indem er statt einer Seite den Statuscode 429 für zu viele Anfragen oder 503 für eine vorübergehende Nichtverfügbarkeit zurückgibt. Google wertet beide Antworten ebenso wie den Code 500 als Serverfehler und senkt daraufhin für den gesamten Hostnamen seine Crawl-Rate, also die Zahl seiner Abrufe in einem bestimmten Zeitraum. Betroffen sind davon auch die Seiten, die normal antworten. Liefert der Server wieder den Statuscode 200, erhöht Google die Rate schrittweise, ohne dass Sie dafür eine Einstellung ändern müssen.

Gedacht sind diese Antworten für Notfälle mit Überlastung und für kurze Zeit, ein Einsatz über mehr als ein bis zwei Tage ist ausdrücklich nicht vorgesehen. Erhält der Googlebot für dieselbe Adresse über mehrere Tage hinweg solche Fehler, kann die Seite aus dem Index fallen, sodass eine dauerhafte Drosselung die Sichtbarkeit in der Suche mindert. In der Fassung vom 6. Oktober 2026 beschreibt Google zusätzlich den HTTP-Header Retry-After, mit dem Ihr Server bei 429 oder 503 angibt, nach wie vielen Sekunden oder zu welchem Zeitpunkt ein neuer Versuch sinnvoll ist. Für eine Wartezeit von zwei Minuten sendet der Server etwa die Zeile Retry-After: 120.

Für eine Drosselung ungeeignet ist der Statuscode 403, den Google wie den Code 404 für eine fehlende Seite behandelt und mit dem bereits indexierte Adressen aus dem Index fallen. Die in der robots.txt mögliche Angabe Crawl-delay für eine Wartezeit zwischen zwei Abrufen fehlt im Standard und bleibt bei Google wirkungslos, während Anthropic sie für seine Crawler berücksichtigt. Wie GPTBot und die übrigen KI-Crawler auf 429 und Retry-After reagieren, lässt sich anhand Ihrer Server-Protokolle nachvollziehen, in denen jeder abgewiesene Abruf mit seinem Statuscode verzeichnet ist.

Grenzen dieser Art können auch in der Serverkonfiguration Ihres Hosting-Anbieters hinterlegt sein, also außerhalb der Dateien Ihrer Website, und gelten dann unter Umständen für alle Domains auf demselben Server. Erhält ein einzelner Crawler wie GPTBot dauerhaft den Code 429, während Browser und andere Crawler die Seiten normal laden, spricht das für eine solche Regel. Fragen Sie in diesem Fall am besten beim Support Ihres Anbieters nach, welche Grenzen für Crawler gelten und ob sich einzelne Kennungen davon ausnehmen lassen.

Zugriffe in den Server-Protokollen prüfen

Rufen Sie zunächst Ihre robots.txt im Browser auf und prüfen Sie, ob die Datei direkt mit ihrem Text lädt und jede Gruppe den Namen des Crawlers in der dokumentierten Schreibweise führt. Anschließend öffnen Sie in der Verwaltungsoberfläche Ihres Hostings das Zugriffsprotokoll Ihrer Domain und suchen dort nach Kennungen wie GPTBot, OAI-SearchBot oder ClaudeBot. Zu jedem Eintrag stehen dort neben Datum und aufgerufener Adresse auch die IP-Adresse und der Statuscode, an dem Sie den Erfolg des Abrufs oder eine Abweisung erkennen.

Ob Ihr Server eine bestimmte Kennung abweist, lässt sich zusätzlich mit dem Befehl curl -I -A GPTBot https://ihre-domain.de/ in der Eingabeaufforderung Ihres Rechners prüfen. Der Befehl sendet eine Anfrage unter dem Namen des Crawlers und zeigt in der ersten Zeile der Antwort den Statuscode, etwa 200 für eine erfolgreiche Auslieferung oder 429 für eine Drosselung. Da diese Anfrage von Ihrem eigenen Anschluss kommt, erfasst sie nur Regeln für die Kennung, während Sperren für die IP-Bereiche der Anbieter dabei unentdeckt bleiben.

Die Kennung eines Crawlers kann jedes Programm übernehmen, weshalb ein Protokolleintrag mit dem Namen GPTBot allein noch nicht belegt, dass der Abruf tatsächlich von OpenAI stammt. OpenAI und Anthropic veröffentlichen dafür Listen mit den IP-Adressen ihrer Crawler, mit denen Sie die Adresse aus dem Protokoll abgleichen können. Bei Google ergibt sich die Herkunft zusätzlich aus einer umgekehrten DNS-Abfrage. Für echte Zugriffe liefert sie einen Hostnamen unter googlebot.com, google.com oder googleusercontent.com, der wiederum auf dieselbe IP-Adresse verweist.

Fazit

KI-Crawler rufen Webseiten für drei Zwecke ab, nämlich für das Training von Modellen, für die Suchfunktionen der KI-Assistenten und im Auftrag einzelner Personen während eines Gesprächs. OpenAI und Anthropic betreiben dafür getrennte Crawler, sodass Sie in der robots.txt das Training ausschließen und die Suche zugleich zulassen können, während Google die Verwendung für Gemini über die Angabe Google-Extended regelt. Die robots.txt wirkt dabei als Bitte an die Crawler und ersetzt weder einen Passwortschutz noch die Anweisung noindex.

Neben der robots.txt bestimmt Ihr Server, ob ein zugelassener Crawler die Seiten erhält, denn Antworten mit 429 oder 503 bremsen die Abrufe und können bei längerer Dauer Seiten aus dem Google-Index entfernen. Der Header Retry-After teilt Crawlern dabei mit, wann ein neuer Versuch möglich ist, während der Code 403 für eine Drosselung ungeeignet ist. Ob Ihre Einstellungen wie geplant greifen, zeigen die Statuscodes in den Zugriffsprotokollen, deren Echtheit sich über die veröffentlichten IP-Adressen der Anbieter prüfen lässt.

Die Angaben in diesem Beitrag geben den Stand vom 21. Oktober 2026 wieder. Aufbau und Auswertung der robots.txt folgen dem Internetstandard RFC 9309 der IETF sowie der Dokumentation von Google Search Central zur robots.txt in der Fassung vom 31. August 2026. Die Angaben zur Drosselung beruhen auf Googles Dokumentation zur Verringerung der Crawling-Frequenz in der Fassung vom 6. Oktober 2026 und zu HTTP-Statuscodes, die Angaben zu Google-Extended und zur Prüfung von Google-Crawlern auf den zugehörigen Seiten der Crawling-Dokumentation. Die Beschreibung der KI-Crawler stützt sich auf die Dokumentation von OpenAI zu seinen Bots und den Hilfeartikel von Anthropic zum Crawling in der Fassung vom 7. April 2026.