Crawlers de IA y robots.txt: qué deben permitir las marcas

Si quieres que tu marca aparezca en las respuestas de la IA, permite los crawlers de búsqueda: OAI-SearchBot (búsqueda de ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity) y Googlebot (Google Search). Permitir también los crawlers de entrenamiento, GPTBot, ClaudeBot y el token Google-Extended, es una decisión aparte: a fecha de 2026-10-16, cada empresa documenta por separado sus agentes de entrenamiento y de búsqueda, y OpenAI y Google dicen sin rodeos que excluirte del entrenamiento no equivale a excluirte de su búsqueda.

Cómo lo comprobamos: el 2026-10-16 leímos las páginas sobre crawlers que publican OpenAI, Anthropic, Perplexity y Google, además de la documentación de Google sobre robots.txt. Todas las citas de abajo salen de esas páginas.

Bots de entrenamiento, de búsqueda y a petición del usuario

Las cuatro empresas describen tres tipos distintos de visitante:

Crawlers de entrenamiento: recopilan contenido que puede usarse para entrenar modelos de IA. Son GPTBot, ClaudeBot y Google-Extended (un token de control, no un crawler aparte). La página de Perplexity dice que ninguno de sus agentes se usa para recopilar contenido con el que entrenar modelos fundacionales de IA.
Crawlers de búsqueda: indexan páginas para que el asistente pueda encontrarlas y enlazarlas al responder. Son OAI-SearchBot, Claude-SearchBot, PerplexityBot y, para Google Search, Googlebot.
Agentes que actúan a petición del usuario: visitan una página porque alguien le ha preguntado algo al asistente. Son ChatGPT-User, Claude-User y Perplexity-User. Cada empresa los trata de forma distinta en robots.txt, como verás en las secciones siguientes.

Para una marca, los que deciden si tus páginas pueden encontrarse y enlazarse en las respuestas de búsqueda con IA son los crawlers de búsqueda. Permitirlos no significa que te vayan a citar; solo significa que no te estás excluyendo tú.

OpenAI: GPTBot, OAI-SearchBot y ChatGPT-User

La descripción general de sus crawlers que publica OpenAI enumera los user agents y dice que cada ajuste es independiente. Sobre la búsqueda:

“Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.”

Sobre el entrenamiento:

“Disallowing GPTBot indicates a site's content should not be used in training generative AI foundation models.”

La misma página pone el ejemplo de permitir OAI-SearchBot para aparecer en la búsqueda y bloquear a la vez GPTBot. Señala que, si los dos están permitidos, OpenAI puede usar un mismo rastreo para ambos fines, y que en la búsqueda «pueden pasar unas 24 horas desde que un sitio actualiza su robots.txt hasta que nuestros sistemas se ajustan».

ChatGPT-User es distinto. OpenAI dice que «no se usa para rastrear la web de forma automática» y que, «como estas acciones las inicia un usuario, puede que no se apliquen las reglas de robots.txt». También dice que ChatGPT-User no sirve para decidir si un contenido aparece en la búsqueda; el token para eso es OAI-SearchBot. La página menciona además OAI-AdsBot, que solo visita páginas enviadas como anuncios en ChatGPT.

Anthropic: ClaudeBot, Claude-SearchBot y Claude-User

El artículo de ayuda de Anthropic sobre el rastreo describe tres bots y qué ocurre si desactivas cada uno. ClaudeBot recopila contenido que podría contribuir al entrenamiento de modelos:

“When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.”

Fíjate en la palabra «future» (futuros). Claude-SearchBot indexa contenido para la búsqueda, y Anthropic dice que desactivarlo «puede reducir la visibilidad y la precisión de tu sitio en los resultados de búsqueda de los usuarios». Claude-User obtiene páginas cuando una persona le hace una pregunta a Claude; según Anthropic, desactivarlo impide recuperarlas en respuesta a la consulta de un usuario y «puede reducir la visibilidad de tu sitio en las búsquedas web dirigidas por usuarios».

Anthropic afirma que sus bots respetan «las directivas estándar del sector en robots.txt», admiten la extensión no estándar Crawl-delay y necesitan que la regla de robots.txt se repita en cada subdominio que quieras excluir. Desaconseja recurrir en su lugar al bloqueo por IP, porque eso impide que sus bots lean tu archivo robots.txt.

Perplexity: PerplexityBot y Perplexity-User

La página sobre crawlers de Perplexity describe PerplexityBot como un crawler de búsqueda:

“PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.”

Perplexity recomienda permitir PerplexityBot en robots.txt si quieres aparecer en sus resultados de búsqueda. Perplexity-User se encarga de las visitas que provocan las personas, y ahí la página es directa: «Como la petición la ha hecho un usuario, este agente suele ignorar las reglas de robots.txt». Perplexity dice que los cambios pueden tardar hasta 24 horas en reflejarse.

Google: Googlebot y Google-Extended

La lista de crawlers comunes de Google dice que estos crawlers «siempre respetan las reglas de robots.txt cuando rastrean de forma automática». Las reglas dirigidas a Googlebot afectan a Google Search. Google-Extended funciona de otra manera: no tiene una cadena de user agent HTTP propia, y el token solo se usa en robots.txt para controlar si el contenido rastreado puede servir para entrenar futuros modelos Gemini y para el grounding en Gemini Apps y Vertex AI. Google es explícito sobre Search:

“Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.”

Las reglas para Googlebot afectan a Google Search, así que bloquear Googlebot no es una forma de excluirte del entrenamiento de Gemini sin tocar también Search. Google-Extended es el token que Google documenta para la parte de Gemini.

Un robots.txt para marcas que quieren que las encuentren

Así podría ser el robots.txt de una marca que quiere que la encuentren en la búsqueda con IA pero excluirse del entrenamiento de modelos. Si no te importa que tus páginas públicas se usen para entrenar, basta con quitar los tres últimos grupos.

User-agent: Googlebot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Antes de editarlo, conviene conocer dos detalles de la documentación de Google:

La especificación de robots.txt de Google dice que «solo un grupo es válido para un crawler concreto»: gana el user agent coincidente más específico, y el grupo * no se combina con él. Si nombras un bot, repite dentro de su grupo las líneas Disallow de tu grupo * que quieras que se le sigan aplicando.
La misma especificación dice que las reglas solo se aplican al host, el protocolo y el puerto desde los que se sirve el archivo, así que blog.example.com necesita su propio archivo.

La introducción a robots.txt de Google advierte también de que «cada crawler interpreta la sintaxis de forma distinta» y de que robots.txt no puede imponer un comportamiento: «depende del crawler cumplirlas». Es una señal para el rastreo, no un control de acceso.

Cómo comprobar qué permite tu robots.txt

Abre https://yourdomain.com/robots.txt en el navegador y repite con cada subdominio que sirva contenido que te importe.
Busca un grupo User-agent: * con Disallow: /. Salvo que un bot tenga su propio grupo, esa línea le dice que no entre en ninguna parte del sitio.
Busca en el archivo cada uno de los tokens anteriores. Un grupo con nombre anula * para ese bot, así que comprueba que dice lo que pretendes.
En Google Search Console, abre el informe de robots.txt. Muestra los archivos robots.txt que Google encontró para los 20 hosts principales de tu sitio, cuándo se rastrearon por última vez y cualquier error o advertencia de análisis. Solo funciona con propiedades de dominio.
Revisa la configuración de bots de tu firewall o CDN. Perplexity señala que los sitios protegidos por un firewall de aplicaciones web pueden tener que permitir sus bots de forma explícita. OpenAI, Anthropic y Perplexity publican listas de IP con las que verificar que una petición que dice venir de su bot viene de verdad de él.
Después de un cambio, dale tiempo: OpenAI habla de unas 24 horas para la búsqueda y Perplexity, de hasta 24 horas.

Lo que esto no cubre: si una empresa de IA puede usar tu contenido según los derechos de autor u otras leyes, ni cómo se trata el contenido recopilado antes de que cambiaras tu robots.txt, más allá de lo que dicen las páginas citadas. Esto no es asesoramiento legal; vuelve a revisar la página de cada empresa antes de fiarte de ella, porque estas listas cambian.

Agent Agency es un software que aprende cómo es tu producto a partir de un enlace y pone a trabajar agentes de IA que lo promocionan en comunidades de internet.

Únete a la lista de espera