KI-Crawler und robots.txt: Was Marken zulassen sollten

Wenn Ihre Marke in KI-Antworten auftauchen soll, lassen Sie die Such-Crawler zu: OAI-SearchBot (ChatGPT-Suche), Claude-SearchBot (Claude), PerplexityBot (Perplexity) und Googlebot (Google Search). Ob Sie auch die Trainings-Crawler zulassen, also GPTBot, ClaudeBot und das Token Google-Extended, ist eine eigene Entscheidung: Stand 2026-10-16 dokumentiert jedes Unternehmen seine Trainings- und Such-Agenten getrennt, und OpenAI und Google sagen ausdrücklich, dass ein Opt-out vom Training kein Opt-out von ihrer Suche ist.

So haben wir geprüft: Am 2026-10-16 haben wir die Crawler-Seiten von OpenAI, Anthropic, Perplexity und Google gelesen, dazu Googles Dokumentation zu robots.txt. Jedes Zitat unten stammt von diesen Seiten.

Trainings-Bots, Such-Bots und Abrufe durch Nutzer

Die vier Unternehmen beschreiben drei verschiedene Arten von Besuchern:

Trainings-Crawler sammeln Inhalte, die zum Training von KI-Modellen verwendet werden können: GPTBot, ClaudeBot und Google-Extended (ein Steuerungs-Token, kein eigener Crawler). Laut Perplexitys Seite wird keiner seiner Agenten genutzt, um Inhalte für das Training von KI-Basismodellen zu sammeln.
Such-Crawler indexieren Seiten, damit der Assistent sie beim Antworten finden und verlinken kann: OAI-SearchBot, Claude-SearchBot, PerplexityBot und Googlebot für Google Search.
Von Nutzern ausgelöste Abrufe rufen eine Seite auf, weil eine Person dem Assistenten eine Frage gestellt hat: ChatGPT-User, Claude-User und Perplexity-User. Wie sie mit robots.txt umgehen, unterscheidet sich je nach Unternehmen, wie die folgenden Abschnitte zeigen.

Für eine Marke entscheiden die Such-Crawler darüber, ob Ihre Seiten in KI-Suchantworten gefunden und verlinkt werden können. Sie zuzulassen heißt nicht, dass Sie zitiert werden. Es heißt nur, dass Sie sich nicht selbst ausschließen.

OpenAI: GPTBot, OAI-SearchBot und ChatGPT-User

OpenAIs Übersicht der Crawler listet die User-Agents auf und sagt, dass jede Einstellung unabhängig von den anderen ist. Zur Suche:

“Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.”

Zum Training:

“Disallowing GPTBot indicates a site's content should not be used in training generative AI foundation models.”

Dieselbe Seite nennt als Beispiel, OAI-SearchBot zuzulassen, um in der Suche zu erscheinen, und GPTBot zu sperren. Sie hält fest, dass OpenAI einen einzigen Crawl für beide Zwecke nutzen kann, wenn beide zugelassen sind, und dass es bei der Suche nach einer Änderung der robots.txt „etwa 24 Stunden dauern kann, bis sich unsere Systeme angepasst haben“.

ChatGPT-User funktioniert anders. Laut OpenAI wird er „nicht genutzt, um das Web automatisch zu crawlen“, und „da diese Aktionen von einem Nutzer ausgelöst werden, gelten robots.txt-Regeln möglicherweise nicht“. Außerdem entscheidet ChatGPT-User nicht darüber, ob Inhalte in der Suche erscheinen; dafür ist OAI-SearchBot das Token. Die Seite nennt zudem OAI-AdsBot, der nur Seiten besucht, die als Anzeigen in ChatGPT eingereicht wurden.

Anthropic: ClaudeBot, Claude-SearchBot und Claude-User

Anthropics Hilfeartikel zum Crawling beschreibt drei Bots und was passiert, wenn Sie jeden davon sperren. ClaudeBot sammelt Inhalte, die zum Modelltraining beitragen könnten:

“When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.”

Achten Sie auf das Wort „future“, also künftige Inhalte. Claude-SearchBot indexiert Inhalte für die Suche, und laut Anthropic kann es „die Sichtbarkeit und Genauigkeit Ihrer Website in den Suchergebnissen der Nutzer verringern“, wenn Sie ihn sperren. Claude-User ruft Seiten ab, wenn eine Person Claude eine Frage stellt. Wer ihn sperrt, verhindert laut Anthropic den Abruf als Antwort auf eine Nutzeranfrage, was „die Sichtbarkeit Ihrer Website bei nutzergesteuerter Websuche verringern kann“.

Anthropic gibt an, dass seine Bots „branchenübliche Anweisungen in robots.txt“ befolgen, die nicht standardisierte Erweiterung Crawl-delay unterstützen und dass die robots.txt-Regel auf jeder Subdomain wiederholt werden muss, für die Sie ein Opt-out wollen. Das Unternehmen rät davon ab, sich stattdessen auf IP-Sperren zu verlassen, weil seine Bots dann Ihre robots.txt nicht mehr lesen können.

Perplexity: PerplexityBot und Perplexity-User

Perplexitys Crawler-Seite beschreibt PerplexityBot als Such-Crawler:

“PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.”

Perplexity empfiehlt, PerplexityBot in der robots.txt zuzulassen, wenn Sie in seinen Suchergebnissen erscheinen wollen. Perplexity-User übernimmt Abrufe, die Menschen auslösen, und hier ist die Seite deutlich: „Da ein Nutzer den Abruf angefordert hat, ignoriert dieser Fetcher robots.txt-Regeln in der Regel.“ Laut Perplexity kann es bis zu 24 Stunden dauern, bis Änderungen wirken.

Google: Googlebot und Google-Extended

Googles Liste gängiger Crawler sagt, dass diese Crawler „beim automatischen Crawlen robots.txt-Regeln immer befolgen“. Regeln für Googlebot wirken sich auf Google Search aus. Google-Extended funktioniert anders: Es hat keinen eigenen HTTP-User-Agent-String, und das Token wird nur in der robots.txt verwendet, um zu steuern, ob gecrawlte Inhalte zum Training künftiger Gemini-Modelle und zum Grounding in Gemini Apps und Vertex AI genutzt werden dürfen. Zur Suche ist Google eindeutig:

“Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.”

Regeln für Googlebot betreffen Google Search. Googlebot zu sperren ist also kein Weg, sich vom Gemini-Training abzumelden, ohne zugleich die Suche zu beeinträchtigen. Für die Gemini-Seite dokumentiert Google das Token Google-Extended.

Eine robots.txt für Marken, die gefunden werden wollen

Eine robots.txt für eine Marke, die in der KI-Suche auffindbar sein, aber nicht ins Modelltraining einfließen will, könnte so aussehen. Wenn Sie nichts dagegen haben, dass Ihre öffentlichen Seiten fürs Training genutzt werden, lassen Sie die letzten drei Gruppen einfach weg.

User-agent: Googlebot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Zwei Details aus Googles Dokumentation sollten Sie kennen, bevor Sie die Datei bearbeiten:

Googles robots.txt-Spezifikation sagt, dass „für einen bestimmten Crawler nur eine Gruppe gilt“: Der spezifischste passende User-Agent gewinnt, und die *-Gruppe wird nicht damit kombiniert. Wenn Sie einen Bot namentlich nennen, wiederholen Sie in seiner Gruppe alle Disallow-Zeilen aus Ihrer *-Gruppe, die weiterhin für ihn gelten sollen.
Laut derselben Spezifikation gelten die Regeln nur für Host, Protokoll und Port, unter denen die Datei ausgeliefert wird. blog.example.com braucht also eine eigene Datei.

Googles Einführung in robots.txt warnt außerdem, dass „verschiedene Crawler die Syntax unterschiedlich interpretieren“ und dass robots.txt kein Verhalten erzwingen kann: „Ob die Regeln befolgt werden, liegt beim Crawler.“ Die Datei ist ein Signal für das Crawling, keine Zugriffskontrolle.

So prüfen Sie, was Ihre robots.txt zulässt

Öffnen Sie https://yourdomain.com/robots.txt im Browser und wiederholen Sie das für jede Subdomain, die Inhalte ausliefert, die Ihnen wichtig sind.
Suchen Sie nach einer Gruppe User-agent: * mit Disallow: /. Sofern ein Bot keine eigene Gruppe hat, schließt ihn diese Zeile von der gesamten Website aus.
Durchsuchen Sie die Datei nach jedem der oben genannten Tokens. Eine benannte Gruppe ersetzt * für diesen Bot, prüfen Sie also, ob sie sagt, was Sie beabsichtigen.
Öffnen Sie in der Google Search Console den robots.txt-Bericht. Er zeigt die robots.txt-Dateien, die Google für die 20 wichtigsten Hosts Ihrer Website gefunden hat, wann sie zuletzt gecrawlt wurden und etwaige Parsing-Fehler oder Warnungen. Er funktioniert nur für Domain-Properties.
Prüfen Sie die Bot-Einstellungen Ihrer Firewall oder Ihres CDN. Perplexity weist darauf hin, dass Websites hinter einer Web Application Firewall seine Bots unter Umständen ausdrücklich zulassen müssen. OpenAI, Anthropic und Perplexity veröffentlichen IP-Listen, mit denen Sie prüfen können, ob eine Anfrage, die sich als ihr Bot ausgibt, tatsächlich von ihm stammt.
Geben Sie einer Änderung Zeit: OpenAI nennt für die Suche etwa 24 Stunden, Perplexity bis zu 24 Stunden.

Was dieser Leitfaden nicht abdeckt: ob ein KI-Unternehmen Ihre Inhalte nach Urheberrecht oder anderem Recht nutzen darf, und wie Inhalte behandelt werden, die vor Ihrer Änderung der robots.txt gesammelt wurden, soweit die genannten Seiten das nicht beschreiben. Dies ist keine Rechtsberatung. Prüfen Sie die Seite jedes Unternehmens erneut, bevor Sie sich darauf verlassen, denn diese Listen ändern sich.

Agent Agency ist eine Software, die Ihr Produkt anhand eines Links kennenlernt und KI-Agenten betreibt, die es in Online-Communities bewerben.

Zur Warteliste