Robots IA et robots.txt : ce que les marques doivent autoriser

Si vous voulez que votre marque apparaisse dans les réponses des IA, autorisez les robots de recherche : OAI-SearchBot (recherche ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity) et Googlebot (Google Search). Autoriser aussi les robots d’entraînement, GPTBot, ClaudeBot et le jeton Google-Extended, relève d’un choix distinct : au 2026-10-16, chaque entreprise documente séparément ses agents d’entraînement et de recherche, et OpenAI comme Google disent clairement que refuser l’entraînement ne revient pas à refuser leur recherche.

Notre méthode : le 2026-10-16, nous avons lu les pages consacrées aux robots publiées par OpenAI, Anthropic, Perplexity et Google, ainsi que la documentation de Google sur robots.txt. Toutes les citations ci-dessous viennent de ces pages.

Robots d’entraînement, robots de recherche et robots à la demande

Les quatre entreprises décrivent trois types de visiteurs différents :

• Les robots d’entraînement collectent des contenus susceptibles de servir à entraîner des modèles d’IA : GPTBot, ClaudeBot et Google-Extended (un jeton de contrôle, pas un robot distinct). La page de Perplexity indique qu’aucun de ses deux agents ne sert à collecter des contenus pour entraîner des modèles de fondation d’IA.
• Les robots de recherche indexent les pages pour que l’assistant puisse les trouver et les citer en lien dans ses réponses : OAI-SearchBot, Claude-SearchBot, PerplexityBot, et Googlebot pour Google Search.
• Les robots déclenchés par l’utilisateur visitent une page parce qu’une personne a posé une question à l’assistant : ChatGPT-User, Claude-User et Perplexity-User. Leur rapport à robots.txt varie selon l’entreprise, comme le montrent les sections suivantes.

Pour une marque, ce sont les robots de recherche qui décident si vos pages peuvent être trouvées et citées en lien dans les réponses de recherche des IA. Les autoriser ne veut pas dire que vous serez cité ; cela signifie seulement que vous ne vous excluez pas vous-même.

OpenAI : GPTBot, OAI-SearchBot et ChatGPT-User

La présentation des robots d’OpenAI liste ses user agents et précise que chaque réglage est indépendant. Sur la recherche, un site qui exclut OAI-SearchBot n’apparaît pas dans les réponses de ChatGPT search, mais peut encore figurer comme lien de navigation :

“Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.”

Sur l’entraînement, bloquer GPTBot signale que le contenu du site ne doit pas servir à entraîner des modèles de fondation d’IA générative :

“Disallowing GPTBot indicates a site's content should not be used in training generative AI foundation models.”

La même page donne l’exemple d’un site qui autorise OAI-SearchBot pour apparaître dans la recherche tout en bloquant GPTBot. Elle précise que si les deux sont autorisés, OpenAI peut utiliser une seule exploration pour les deux usages, et que pour la recherche, « il faut compter environ 24 heures après une mise à jour du robots.txt d’un site pour que nos systèmes s’adaptent ».

ChatGPT-User fonctionne autrement. OpenAI indique qu’il « n’est pas utilisé pour explorer le Web de façon automatique » et que, « ces actions étant lancées par un utilisateur, les règles du robots.txt peuvent ne pas s’appliquer ». La page précise aussi que ChatGPT-User ne sert pas à décider si un contenu apparaît dans la recherche : c’est le rôle d’OAI-SearchBot. Elle mentionne enfin OAI-AdsBot, qui visite uniquement les pages soumises comme publicités sur ChatGPT.

Anthropic : ClaudeBot, Claude-SearchBot et Claude-User

L’article d’aide d’Anthropic sur l’exploration décrit trois robots et ce qui se passe quand vous désactivez chacun d’eux. ClaudeBot collecte des contenus qui pourraient contribuer à l’entraînement des modèles. Restreindre son accès signale que les contenus futurs du site doivent être exclus des jeux de données d’entraînement :

“When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.”

Notez le mot « future ». Claude-SearchBot indexe les contenus pour la recherche, et Anthropic indique que le désactiver « peut réduire la visibilité et l’exactitude de votre site dans les résultats de recherche des utilisateurs ». Claude-User récupère des pages quand une personne pose une question à Claude ; selon Anthropic, le désactiver empêche la récupération en réponse à une requête et « peut réduire la visibilité de votre site dans la recherche Web lancée par les utilisateurs ».

Anthropic affirme que ses robots respectent « les directives standard du secteur dans robots.txt », qu’ils prennent en charge l’extension non standard Crawl-delay, et que la règle robots.txt doit être répétée sur chaque sous-domaine que vous voulez exclure. L’entreprise déconseille de s’en remettre plutôt à un blocage par IP, car cela empêche ses robots de lire votre fichier robots.txt.

Perplexity : PerplexityBot et Perplexity-User

La page de Perplexity sur ses robots présente PerplexityBot comme un robot de recherche, conçu pour faire ressortir des sites et les citer en lien dans ses résultats, et non pour collecter des contenus destinés aux modèles de fondation :

“PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.”

Perplexity recommande d’autoriser PerplexityBot dans robots.txt si vous voulez apparaître dans ses résultats de recherche. Perplexity-User gère les récupérations déclenchées par des personnes, et là, la page est directe : « comme c’est un utilisateur qui a demandé la récupération, ce robot ignore généralement les règles du robots.txt ». Perplexity précise que les changements peuvent mettre jusqu’à 24 heures à être pris en compte.

Google : Googlebot et Google-Extended

La liste des robots d’exploration courants de Google indique que ces robots « respectent toujours les règles du robots.txt lorsqu’ils explorent automatiquement ». Les règles adressées à Googlebot concernent Google Search. Google-Extended fonctionne différemment : il n’a pas de chaîne user-agent HTTP propre, et ce jeton sert uniquement dans robots.txt à indiquer si les contenus explorés peuvent servir à entraîner les futurs modèles Gemini et à l’ancrage (grounding) dans Gemini Apps et Vertex AI. Google est explicite au sujet de Search : Google-Extended n’a aucun effet sur la présence d’un site dans Google Search et ne sert pas de signal de classement.

“Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.”

Les règles pour Googlebot touchent Google Search : bloquer Googlebot n’est donc pas un moyen de refuser l’entraînement de Gemini sans toucher aussi à Search. Google-Extended est le jeton que Google documente pour le volet Gemini.

Un robots.txt pour les marques qui veulent être trouvées

Pour une marque qui veut être trouvable dans la recherche IA tout en refusant l’entraînement des modèles, un robots.txt pourrait ressembler à ceci. Si l’utilisation de vos pages publiques pour l’entraînement ne vous dérange pas, supprimez simplement les trois derniers groupes.

User-agent: Googlebot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Deux détails de la documentation de Google sont bons à connaître avant de modifier le fichier :

• La spécification robots.txt de Google indique qu’« un seul groupe est valide pour un robot donné » : le user agent correspondant le plus spécifique l’emporte, et le groupe * ne s’y ajoute pas. Si vous nommez un robot, répétez dans son groupe les lignes Disallow de votre groupe * qui doivent continuer à s’appliquer à lui.
• La même spécification précise que les règles ne valent que pour l’hôte, le protocole et le port où le fichier est servi : blog.example.com a donc besoin de son propre fichier.

L’introduction de Google à robots.txt prévient aussi que « chaque robot d’exploration interprète la syntaxe à sa façon » et que robots.txt ne peut pas imposer un comportement : « il appartient au robot de les respecter ». C’est un signal d’exploration, pas un contrôle d’accès.

Comment vérifier ce que votre robots.txt autorise

1. Ouvrez https://yourdomain.com/robots.txt dans un navigateur, puis recommencez pour chaque sous-domaine qui sert des contenus importants pour vous.
2. Cherchez un groupe User-agent: * avec Disallow: /. Sauf si un robot a son propre groupe, cette ligne lui interdit l’ensemble du site.
3. Cherchez dans le fichier chacun des jetons ci-dessus. Un groupe nommé remplace * pour ce robot : vérifiez qu’il dit bien ce que vous voulez.
4. Dans Google Search Console, ouvrez le rapport robots.txt. Il affiche les fichiers robots.txt que Google a trouvés pour les 20 principaux hôtes de votre site, la date de leur dernière exploration, ainsi que les erreurs ou avertissements d’analyse. Il ne fonctionne que pour les propriétés de niveau domaine.
5. Vérifiez les réglages anti-bots de votre pare-feu ou de votre CDN. Perplexity signale que les sites protégés par un pare-feu applicatif web peuvent devoir autoriser explicitement ses robots. OpenAI, Anthropic et Perplexity publient des listes d’IP qui permettent de vérifier qu’une requête se présentant comme leur robot vient bien d’eux.
6. Après une modification, laissez du temps : OpenAI parle d’environ 24 heures pour la recherche, Perplexity de 24 heures au maximum.

Ce que ce guide ne couvre pas : la question de savoir si une entreprise d’IA peut utiliser vos contenus au regard du droit d’auteur ou d’autres lois, et le traitement des contenus collectés avant votre modification du robots.txt, au-delà de ce que disent les pages ci-dessus. Ceci n’est pas un avis juridique ; relisez la page de chaque entreprise avant de vous y fier, car ces listes changent.

Agent Agency est un logiciel qui apprend à connaître votre produit à partir d’un lien et fait travailler des agents IA qui en font la promotion dans les communautés en ligne.

Rejoindre la liste d’attente