# Rastreadores de IA e robots.txt: o que as marcas devem liberar > Se você quer que a sua marca apareça nas respostas de IA, libere os rastreadores de busca: OAI-SearchBot (busca do ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity) e Googlebot (Google Search). Liberar também os rastreadores de treinamento, GPTBot, ClaudeBot e o token Google-Extended, é uma decisão separada. URL: https://agentagency.si/pt/guides/ai-crawlers-robots-txt-for-brands · Atualizado em: 2026-10-16 Se você quer que a sua marca apareça nas respostas de IA, libere os rastreadores de busca: OAI-SearchBot (busca do ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity) e Googlebot (Google Search). Liberar também os rastreadores de treinamento, GPTBot, ClaudeBot e o token Google-Extended, é uma decisão separada: em 2026-10-16, cada empresa documenta separadamente os seus agentes de treinamento e de busca, e a OpenAI e o Google dizem com todas as letras que sair do treinamento não é o mesmo que sair da busca deles. Como verificamos: em 2026-10-16 lemos as páginas sobre rastreadores publicadas pela OpenAI, pela Anthropic, pela Perplexity e pelo Google, além da documentação do Google sobre robots.txt. Todas as citações abaixo vêm dessas páginas. ## Bots de treinamento, bots de busca e acessos feitos a pedido do usuário As quatro empresas descrevem três tipos diferentes de visitante: - **Rastreadores de treinamento** coletam conteúdo que pode ser usado para treinar modelos de IA: GPTBot, ClaudeBot e Google-Extended (um token de controle, não um rastreador separado). A página da Perplexity diz que nenhum dos seus agentes é usado para coletar conteúdo para treinar modelos de fundação de IA. - **Rastreadores de busca** indexam páginas para que o assistente consiga encontrá-las e colocar o link delas nas respostas: OAI-SearchBot, Claude-SearchBot, PerplexityBot e o Googlebot, no caso do Google Search. - **Agentes acionados pelo usuário** visitam uma página porque alguém fez uma pergunta ao assistente: ChatGPT-User, Claude-User e Perplexity-User. A forma como cada empresa os trata no robots.txt muda, como mostram as seções abaixo. Para uma marca, são os rastreadores de busca que decidem se as suas páginas podem ser encontradas e linkadas nas respostas de busca com IA. Liberá-los não significa que você vai ser citado; significa só que você não está se excluindo. ## OpenAI: GPTBot, OAI-SearchBot e ChatGPT-User A [visão geral dos rastreadores da OpenAI](https://developers.openai.com/api/docs/bots) lista os user agents e diz que cada configuração é independente. Sobre a busca: > “Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.” Sobre o treinamento: > “Disallowing GPTBot indicates a site's content should not be used in training generative AI foundation models.” A mesma página dá o exemplo de liberar o OAI-SearchBot para aparecer na busca e bloquear o GPTBot. Ela observa que, se os dois estiverem liberados, a OpenAI pode usar um único rastreamento para os dois fins, e que, no caso da busca, “pode levar cerca de 24 horas, a partir da atualização do robots.txt de um site, para que os nossos sistemas se ajustem”. O ChatGPT-User é diferente. A OpenAI diz que ele “não é usado para rastrear a web de forma automática” e que, “como essas ações são iniciadas por um usuário, as regras do robots.txt podem não se aplicar”. Ela também diz que o ChatGPT-User não é usado para decidir se um conteúdo aparece na busca; o token para isso é o OAI-SearchBot. A página ainda lista o OAI-AdsBot, que só visita páginas enviadas como anúncios no ChatGPT. ## Anthropic: ClaudeBot, Claude-SearchBot e Claude-User O [artigo de ajuda da Anthropic sobre rastreamento](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) descreve três bots e o que acontece quando você desativa cada um deles. O ClaudeBot coleta conteúdo que pode contribuir para o treinamento de modelos: > “When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.” Repare na palavra “future”: só os materiais futuros ficam de fora. O Claude-SearchBot indexa conteúdo para a busca, e a Anthropic diz que desativá-lo “pode reduzir a visibilidade e a precisão do seu site nos resultados de busca dos usuários”. O Claude-User busca páginas quando alguém faz uma pergunta ao Claude; a Anthropic diz que desativá-lo impede a recuperação em resposta a uma consulta do usuário e “pode reduzir a visibilidade do seu site em buscas na web feitas a pedido do usuário”. A Anthropic afirma que os seus bots respeitam as “diretivas padrão do setor no robots.txt”, aceitam a extensão não padronizada Crawl-delay e precisam que a regra do robots.txt seja repetida em cada subdomínio que você quiser excluir. Ela desaconselha recorrer ao bloqueio por IP, porque isso impede que os bots leiam o seu arquivo robots.txt. ## Perplexity: PerplexityBot e Perplexity-User A [página de rastreadores da Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) descreve o PerplexityBot como um rastreador de busca: > “PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.” A Perplexity recomenda liberar o PerplexityBot no robots.txt se você quer aparecer nos resultados de busca dela. O Perplexity-User cuida dos acessos que as pessoas acionam, e aqui a página é direta: “Como foi um usuário que pediu o acesso, este agente em geral ignora as regras do robots.txt.” A Perplexity diz que as mudanças podem levar até 24 horas para valer. ## Google: Googlebot e Google-Extended A [lista de rastreadores comuns do Google](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) diz que esses rastreadores “sempre obedecem às regras do robots.txt quando rastreiam de forma automática”. Regras direcionadas ao Googlebot afetam o Google Search. O Google-Extended funciona de outro jeito: ele não tem uma string de user agent HTTP própria, e o token é usado só no robots.txt para controlar se o conteúdo rastreado pode ser usado para treinar futuros modelos Gemini e para dar base às respostas nos apps do Gemini e na Vertex AI. O Google é explícito sobre a busca: > “Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.” As regras para o Googlebot afetam o Google Search, então bloquear o Googlebot não é um jeito de sair do treinamento do Gemini sem afetar também a busca. O Google-Extended é o token que o Google documenta para o lado do Gemini. ## Um robots.txt para marcas que querem ser encontradas O robots.txt de uma marca que quer ser encontrada na busca com IA, mas não quer entrar no treinamento de modelos, poderia ser assim. Se você não se importa que as suas páginas públicas sejam usadas no treinamento, basta tirar os três últimos grupos. ``` User-agent: Googlebot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / ``` Dois detalhes da documentação do Google valem a pena antes de você editar o arquivo: - A [especificação do robots.txt do Google](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec) diz que “só um grupo é válido para um determinado rastreador”: vence o user agent correspondente mais específico, e o grupo `*` não é combinado com ele. Se você nomear um bot, repita dentro do grupo dele as linhas Disallow do seu grupo `*` que ainda devem valer para ele. - A mesma especificação diz que as regras valem só para o host, o protocolo e a porta onde o arquivo é servido, então `blog.example.com` precisa do seu próprio arquivo. A [introdução do Google ao robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro) também avisa que “rastreadores diferentes interpretam a sintaxe de formas diferentes” e que o robots.txt não tem como impor comportamento: “cabe ao rastreador obedecer às regras”. É um sinal de rastreamento, não um controle de acesso. ## Como conferir o que o seu robots.txt libera 1. Abra `https://yourdomain.com/robots.txt` no navegador e repita o processo para cada subdomínio que tenha conteúdo importante para você. 2. Procure um grupo `User-agent: *` com `Disallow: /`. A menos que um bot tenha o seu próprio grupo, essa linha manda ele ficar fora do site inteiro. 3. Procure no arquivo cada um dos tokens acima. Um grupo com nome substitui o `*` para aquele bot, então confira se ele diz o que você pretende. 4. No Google Search Console, abra o [relatório de robots.txt](https://support.google.com/webmasters/answer/6062598?hl=en). Ele mostra os arquivos robots.txt que o Google encontrou para os 20 principais hosts do seu site, quando foram rastreados pela última vez e eventuais erros ou avisos de leitura. Ele só funciona para propriedades no nível do domínio. 5. Confira as configurações de bots do seu firewall ou CDN. A Perplexity observa que sites atrás de um firewall de aplicação web podem precisar liberar os bots dela de forma explícita. OpenAI, Anthropic e Perplexity publicam listas de IPs que você pode usar para verificar se uma requisição que diz ser do bot delas é mesmo. 6. Depois de uma mudança, dê tempo: a OpenAI fala em cerca de 24 horas para a busca, e a Perplexity em até 24 horas. O que este guia não cobre: se alguma empresa de IA pode usar o seu conteúdo segundo o direito autoral ou outras leis, e como é tratado o conteúdo coletado antes de você mudar o robots.txt, além do que dizem as páginas acima. Isto não é aconselhamento jurídico; confira de novo a página de cada empresa antes de confiar nela, porque essas listas mudam. A Agent Agency é um software que aprende sobre o seu produto a partir de um link e coloca agentes de IA para divulgá-lo em comunidades online. [Entrar na lista de espera](https://agentagency.si/pt/waitlist) ## Fontes - [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots), acessado em 2026-10-16 - [Claude Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler), acessado em 2026-10-16 - [Perplexity Documentation: Perplexity Crawlers](https://docs.perplexity.ai/docs/resources/perplexity-crawlers), acessado em 2026-10-16 - [Google for Developers: Google's common crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers), acessado em 2026-10-16 - [Google Search Central: Introduction to robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro), acessado em 2026-10-16 - [Google for Developers: How Google interprets the robots.txt specification](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec), acessado em 2026-10-16 - [Search Console Help: robots.txt report](https://support.google.com/webmasters/answer/6062598?hl=en), acessado em 2026-10-16 ## Relacionados - [Como fazer a sua marca ser citada em respostas de IA, com honestidade](https://agentagency.si/pt/guides/get-your-brand-mentioned-in-ai-answers) - [O Reddit no Google e nas respostas de IA: por que os números não batem](https://agentagency.si/pt/blog/reddit-ai-search-citations) - [Como ser recomendado pelo ChatGPT a partir do Reddit: o que se sabe e o que não se sabe](https://agentagency.si/pt/guides/how-to-get-recommended-by-chatgpt-from-reddit) --- Other languages: [English](https://agentagency.si/guides/ai-crawlers-robots-txt-for-brands.md) · [Deutsch](https://agentagency.si/de/guides/ai-crawlers-robots-txt-for-brands.md) · [Français](https://agentagency.si/fr/guides/ai-crawlers-robots-txt-for-brands.md) · [Español](https://agentagency.si/es/guides/ai-crawlers-robots-txt-for-brands.md) · [Italiano](https://agentagency.si/it/guides/ai-crawlers-robots-txt-for-brands.md) · [Nederlands](https://agentagency.si/nl/guides/ai-crawlers-robots-txt-for-brands.md) · [Türkçe](https://agentagency.si/tr/guides/ai-crawlers-robots-txt-for-brands.md)