AI-crawlers en robots.txt: wat merken moeten toestaan

Wil je dat je merk in AI-antwoorden verschijnt, laat dan de zoekcrawlers toe: OAI-SearchBot (ChatGPT search), Claude-SearchBot (Claude), PerplexityBot (Perplexity) en Googlebot (Google Search). Of je ook de trainingscrawlers toelaat, GPTBot, ClaudeBot en het Google-Extended-token, is een aparte keuze: op 2026-10-16 documenteert elk bedrijf zijn trainings- en zoekagents apart, en OpenAI en Google zeggen ronduit dat je afmelden voor training niet hetzelfde is als je afmelden voor hun zoekfunctie.

Hoe we het controleerden: op 2026-10-16 lazen we de crawlerpagina's van OpenAI, Anthropic, Perplexity en Google, plus de robots.txt-documentatie van Google. Elk citaat hieronder komt van die pagina's.

Trainingsbots, zoekbots en gebruikersfetchers

De vier bedrijven beschrijven drie soorten bezoekers:

Trainingscrawlers verzamelen content die gebruikt kan worden om AI-modellen te trainen: GPTBot, ClaudeBot en Google-Extended (een controletoken, geen aparte crawler). Volgens de pagina van Perplexity wordt geen van zijn twee agents gebruikt om content te verzamelen voor het trainen van AI-basismodellen.
Zoekcrawlers indexeren pagina's zodat de assistent ze kan vinden en ernaar kan linken in een antwoord: OAI-SearchBot, Claude-SearchBot, PerplexityBot, en Googlebot voor Google Search.
Door gebruikers gestarte fetchers bezoeken een pagina omdat iemand de assistent iets vroeg: ChatGPT-User, Claude-User en Perplexity-User. Hoe ze met robots.txt omgaan, verschilt per bedrijf, zoals de delen hieronder laten zien.

Voor een merk zijn het de zoekcrawlers die bepalen of je pagina's in AI-zoekantwoorden gevonden en gelinkt kunnen worden. Ze toelaten betekent niet dat je geciteerd wordt; het betekent alleen dat je jezelf niet uitsluit.

OpenAI: GPTBot, OAI-SearchBot en ChatGPT-User

Het crawleroverzicht van OpenAI somt de user agents op en zegt dat elke instelling los van de andere staat. Over zoeken:

“Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.”

Over training:

“Disallowing GPTBot indicates a site's content should not be used in training generative AI foundation models.”

Dezelfde pagina geeft als voorbeeld dat je OAI-SearchBot toelaat om in zoekresultaten te verschijnen en GPTBot weert. Er staat ook dat OpenAI, als beide zijn toegelaten, één crawl voor beide doelen kan gebruiken, en dat het voor zoeken “na een update van de robots.txt van een site ~24 uur kan duren voordat onze systemen zich aanpassen.”

ChatGPT-User werkt anders. OpenAI zegt dat deze “niet wordt gebruikt om het web automatisch te crawlen” en dat “robots.txt-regels mogelijk niet gelden, omdat deze acties door een gebruiker worden gestart.” Ook zegt OpenAI dat ChatGPT-User niet wordt gebruikt om te bepalen of content in zoekresultaten verschijnt; daarvoor is OAI-SearchBot het token. De pagina noemt ook OAI-AdsBot, die alleen pagina's bezoekt die als advertentie op ChatGPT zijn ingediend.

Anthropic: ClaudeBot, Claude-SearchBot en Claude-User

Het helpartikel van Anthropic over crawlen beschrijft drie bots en wat er gebeurt als je elk ervan uitschakelt. ClaudeBot verzamelt content die kan bijdragen aan modeltraining:

“When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.”

Let op het woord “future” (toekomstige). Claude-SearchBot indexeert content voor zoeken, en volgens Anthropic kan het uitschakelen ervan “de zichtbaarheid en nauwkeurigheid van je site in zoekresultaten voor gebruikers verminderen.” Claude-User haalt pagina's op als iemand Claude een vraag stelt; Anthropic zegt dat uitschakelen voorkomt dat je pagina's worden opgehaald als antwoord op een gebruikersvraag, en dat het “de zichtbaarheid van je site bij door gebruikers gestuurde webzoekopdrachten kan verminderen.”

Anthropic zegt dat zijn bots “de gangbare richtlijnen in robots.txt” volgen, de niet-standaard Crawl-delay-extensie ondersteunen, en dat je de robots.txt-regel moet herhalen op elk subdomein dat je wilt afmelden. Het waarschuwt ervoor om in plaats daarvan op IP-blokkering te vertrouwen, omdat de bots dan je robots.txt-bestand niet meer kunnen lezen.

Perplexity: PerplexityBot en Perplexity-User

De crawlerpagina van Perplexity beschrijft PerplexityBot als zoekcrawler:

“PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.”

Perplexity raadt aan PerplexityBot in robots.txt toe te laten als je in de zoekresultaten van Perplexity wilt verschijnen. Perplexity-User verwerkt ophaalverzoeken die mensen starten, en hier is de pagina direct: “Omdat een gebruiker om het ophalen vroeg, negeert deze fetcher robots.txt-regels doorgaans.” Volgens Perplexity kan het tot 24 uur duren voordat wijzigingen doorwerken.

Google: Googlebot en Google-Extended

De lijst met gangbare crawlers van Google zegt dat deze crawlers “zich bij automatisch crawlen altijd aan robots.txt-regels houden.” Regels voor Googlebot gelden voor Google Search. Google-Extended werkt anders: het heeft geen eigen HTTP-user-agentstring, en het token wordt alleen in robots.txt gebruikt om te bepalen of gecrawlde content mag dienen voor het trainen van toekomstige Gemini-modellen en voor grounding in Gemini Apps en Vertex AI. Over Search is Google expliciet:

“Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.”

Regels voor Googlebot gelden voor Google Search, dus Googlebot blokkeren is geen manier om je af te melden voor Gemini-training zonder ook Search te raken. Google-Extended is het token dat Google voor de Gemini-kant documenteert.

Een robots.txt voor merken die gevonden willen worden

Een robots.txt voor een merk dat in AI-zoekresultaten vindbaar wil zijn en zich wil afmelden voor modeltraining, kan er zo uitzien. Vind je het prima dat je openbare pagina's voor training worden gebruikt, laat dan gewoon de laatste drie groepen weg.

User-agent: Googlebot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Twee details uit de documentatie van Google zijn handig om te kennen voordat je iets aanpast:

De robots.txt-specificatie van Google zegt dat “voor een bepaalde crawler maar één groep geldig is”: de meest specifieke passende user agent wint, en de *-groep wordt er niet mee gecombineerd. Noem je een bot bij naam, herhaal dan in zijn groep alle Disallow-regels uit je *-groep die nog voor die bot moeten gelden.
Volgens dezelfde specificatie gelden regels alleen voor de host, het protocol en de poort waar het bestand wordt geserveerd, dus blog.example.com heeft een eigen bestand nodig.

De introductie tot robots.txt van Google waarschuwt ook dat “verschillende crawlers syntaxis verschillend interpreteren” en dat robots.txt geen gedrag kan afdwingen: “het is aan de crawler om ze te volgen.” Het is een crawlsignaal, geen toegangscontrole.

Zo controleer je wat je robots.txt toestaat

Open https://yourdomain.com/robots.txt in een browser en herhaal dat voor elk subdomein met content die je belangrijk vindt.
Zoek naar een User-agent: *-groep met Disallow: /. Tenzij een bot een eigen groep heeft, zegt die regel hem weg te blijven van de hele site.
Zoek in het bestand naar elk token hierboven. Een groep met een botnaam gaat voor * bij die bot, dus controleer of er staat wat je bedoelt.
Open in Google Search Console het robots.txt-rapport. Het toont de robots.txt-bestanden die Google vond voor de 20 belangrijkste hosts van je site, wanneer ze voor het laatst zijn gecrawld, en eventuele parseerfouten of waarschuwingen. Het werkt alleen voor domeinproperty's.
Controleer de botinstellingen van je firewall of CDN. Perplexity merkt op dat sites achter een webapplicatiefirewall de bots van Perplexity misschien expliciet moeten toelaten. OpenAI, Anthropic en Perplexity publiceren IP-lijsten waarmee je kunt nagaan of een verzoek dat zich als hun bot voordoet, ook echt van die bot komt.
Geef het na een wijziging tijd: OpenAI noemt ongeveer 24 uur voor zoeken en Perplexity tot 24 uur.

Wat dit niet behandelt: of een AI-bedrijf je content mag gebruiken onder het auteursrecht of andere wetgeving, en hoe content die is verzameld voordat je robots.txt aanpaste, wordt behandeld buiten wat de pagina's hierboven zeggen. Dit is geen juridisch advies; bekijk de pagina van elk bedrijf opnieuw voordat je erop vertrouwt, want deze lijsten veranderen.

Agent Agency is software die je product leert kennen via een link en AI-agents inzet die het promoten in online communities.

Zet je op de wachtlijst