Yapay zekâ tarayıcıları ve robots.txt: markalar neye izin vermeli?

Markanızın yapay zekâ yanıtlarında görünmesini istiyorsanız arama tarayıcılarına izin verin: OAI-SearchBot (ChatGPT arama), Claude-SearchBot (Claude), PerplexityBot (Perplexity) ve Googlebot (Google Search). Eğitim tarayıcılarına, yani GPTBot ile ClaudeBot’a ve Google-Extended belirtecine de izin verip vermemek ayrı bir karardır: 2026-10-16 itibarıyla her şirket eğitim ve arama botlarını ayrı ayrı belgeliyor; OpenAI ve Google da eğitimden çıkmanın kendi aramalarından çıkmakla aynı şey olmadığını açıkça söylüyor.

Nasıl kontrol ettik: 2026-10-16’da OpenAI, Anthropic, Perplexity ve Google’ın yayımladığı tarayıcı sayfalarını ve Google’ın robots.txt belgelerini okuduk. Aşağıdaki her alıntı bu sayfalardan geliyor.

Eğitim botları, arama botları ve kullanıcı getiricileri

Dört şirket üç farklı ziyaretçi türünü tarif ediyor:

• Eğitim tarayıcıları, yapay zekâ modellerini eğitmekte kullanılabilecek içerikleri toplar: GPTBot, ClaudeBot ve Google-Extended (ayrı bir tarayıcı değil, bir denetim belirteci). Perplexity’nin sayfası, iki botunun da yapay zekâ temel modellerini eğitmek için içerik toplamakta kullanılmadığını söyler.
• Arama tarayıcıları, asistanın yanıt verirken sayfaları bulup linkleyebilmesi için onları dizine ekler: OAI-SearchBot, Claude-SearchBot, PerplexityBot ve Google Search için Googlebot.
• Kullanıcı tarafından tetiklenen getiriciler, biri asistana bir şey sorduğu için bir sayfayı ziyaret eder: ChatGPT-User, Claude-User ve Perplexity-User. Aşağıdaki bölümlerde görüleceği gibi, robots.txt karşısındaki tutumları şirketten şirkete değişir.

Bir marka için sayfalarınızın yapay zekâ arama yanıtlarında bulunup linklenip linklenemeyeceğine karar verenler arama tarayıcılarıdır. Onlara izin vermek kaynak gösterileceğiniz anlamına gelmez; yalnızca kendinizi dışarıda bırakmadığınız anlamına gelir.

OpenAI: GPTBot, OAI-SearchBot ve ChatGPT-User

OpenAI’ın tarayıcı özeti user agent’ları listeler ve her ayarın birbirinden bağımsız olduğunu söyler. Arama hakkında:

“Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.”

Eğitim hakkında:

“Disallowing GPTBot indicates a site's content should not be used in training generative AI foundation models.”

Aynı sayfa, aramada görünmek için OAI-SearchBot’a izin verip GPTBot’u engelleme örneğini verir. İkisine de izin verilirse OpenAI’ın tek bir taramayı iki amaç için de kullanabileceğini, arama tarafında ise sistemlerinin bir sitenin robots.txt güncellemesine uyum sağlamasının “yaklaşık 24 saat sürebileceğini” not eder.

ChatGPT-User farklıdır. OpenAI bu botun “web’i otomatik biçimde taramak için kullanılmadığını” ve “bu işlemleri bir kullanıcı başlattığı için robots.txt kurallarının geçerli olmayabileceğini” söyler. ChatGPT-User’ın bir içeriğin aramada görünüp görünmeyeceğine karar vermek için kullanılmadığını da ekler; bunun belirteci OAI-SearchBot’tur. Sayfada ayrıca yalnızca ChatGPT’de reklam olarak gönderilen sayfaları ziyaret eden OAI-AdsBot da yer alır.

Anthropic: ClaudeBot, Claude-SearchBot ve Claude-User

Anthropic’in tarama hakkındaki yardım makalesi üç botu ve her birini devre dışı bıraktığınızda ne olacağını anlatır. ClaudeBot, model eğitimine katkıda bulunabilecek içerikleri toplar:

“When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.”

Alıntıdaki “future” (gelecekteki) kelimesine dikkat edin. Claude-SearchBot içeriği arama için dizine ekler; Anthropic onu devre dışı bırakmanın “sitenizin kullanıcı arama sonuçlarındaki görünürlüğünü ve doğruluğunu azaltabileceğini” söyler. Claude-User, biri Claude’a soru sorduğunda sayfaları getirir; Anthropic onu devre dışı bırakmanın bir kullanıcı sorgusuna yanıt olarak içerik alınmasını engellediğini ve “sitenizin kullanıcı yönlendirmeli web aramasındaki görünürlüğünü azaltabileceğini” söyler.

Anthropic, botlarının “robots.txt’teki sektör standardı yönergelere” uyduğunu, standart dışı Crawl-delay uzantısını desteklediğini ve hariç tutmak istediğiniz her alt alan adında robots.txt kuralının tekrarlanması gerektiğini belirtir. Bunun yerine IP engellemeye güvenmemeniz konusunda da uyarır, çünkü bu, botlarının robots.txt dosyanızı okumasını da engeller.

Perplexity: PerplexityBot ve Perplexity-User

Perplexity’nin tarayıcı sayfası PerplexityBot’u bir arama tarayıcısı olarak tanımlar:

“PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.”

Perplexity, arama sonuçlarında görünmek istiyorsanız robots.txt’te PerplexityBot’a izin vermenizi önerir. Perplexity-User ise kişilerin tetiklediği getirme isteklerini üstlenir ve sayfa burada açık konuşur: “Getirme isteğini bir kullanıcı yaptığı için bu getirici robots.txt kurallarını genellikle yok sayar.” Perplexity, değişikliklerin yansımasının 24 saate kadar sürebileceğini söyler.

Google: Googlebot ve Google-Extended

Google’ın yaygın tarayıcılar listesi, bu tarayıcıların “otomatik tarama yaparken robots.txt kurallarına her zaman uyduğunu” söyler. Googlebot’a yönelik kurallar Google Search’ü etkiler. Google-Extended ise farklı çalışır: kendine ait bir HTTP user-agent dizesi yoktur; bu belirteç yalnızca robots.txt’te, taranan içeriğin gelecekteki Gemini modellerini eğitmek ve Gemini Apps ile Vertex AI’da temellendirme (grounding) için kullanılıp kullanılamayacağını denetlemek amacıyla kullanılır. Google, Search konusunda nettir:

“Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.”

Googlebot kuralları Google Search’ü etkilediği için Googlebot’u engellemek, Search’ü de etkilemeden Gemini eğitiminden çıkmanın bir yolu değildir. Gemini tarafı için Google’ın belgelediği belirteç Google-Extended’dir.

Bulunmak isteyen markalar için bir robots.txt

Model eğitiminden çıkarken yapay zekâ aramasında bulunabilir kalmak isteyen bir markanın robots.txt dosyası şöyle görünebilir. Herkese açık sayfalarınızın eğitimde kullanılmasında sakınca görmüyorsanız son üç grubu çıkarmanız yeterli.

User-agent: Googlebot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Dosyayı düzenlemeden önce Google’ın belgelerindeki iki ayrıntıyı bilmekte fayda var:

• Google’ın robots.txt spesifikasyonu “belirli bir tarayıcı için yalnızca bir grubun geçerli olduğunu” söyler: en spesifik eşleşen user agent kazanır ve * grubu onunla birleştirilmez. Bir botu adıyla belirtirseniz, * grubunuzdaki ve o bot için de geçerli kalması gereken Disallow satırlarını onun grubunda tekrarlayın.
• Aynı spesifikasyona göre kurallar yalnızca dosyanın sunulduğu ana makine, protokol ve bağlantı noktası için geçerlidir; yani blog.example.com kendi dosyasına ihtiyaç duyar.

Google’ın robots.txt giriş sayfası ayrıca “farklı tarayıcıların söz dizimini farklı yorumladığı” konusunda uyarır ve robots.txt’in davranışı zorla uygulatamayacağını söyler: “kurallara uymak tarayıcıya kalmıştır.” Bu bir erişim denetimi değil, bir tarama sinyalidir.

robots.txt dosyanızın neye izin verdiğini nasıl kontrol edersiniz?

1. https://yourdomain.com/robots.txt adresini web tarayıcınızda açın, ardından önem verdiğiniz içeriği sunan her alt alan adı için aynısını yapın.
2. Disallow: / içeren bir User-agent: * grubu arayın. Bir botun kendi grubu yoksa bu satır ona sitenin tamamından uzak durmasını söyler.
3. Dosyada yukarıdaki her belirteci arayın. Adıyla belirtilen bir grup, o bot için * grubunun yerine geçer; bu yüzden grubun tam olarak istediğinizi söyleyip söylemediğini kontrol edin.
4. Google Search Console’da robots.txt raporunu açın. Rapor, Google’ın sitenizdeki ilk 20 ana makine için bulduğu robots.txt dosyalarını, bunların en son ne zaman tarandığını ve varsa ayrıştırma hatalarını ya da uyarıları gösterir. Yalnızca alan düzeyindeki mülklerde çalışır.
5. Güvenlik duvarınızın ya da CDN’inizin bot ayarlarına bakın. Perplexity, web uygulaması güvenlik duvarı arkasındaki sitelerin botlarına açıkça izin vermesi gerekebileceğini not eder. OpenAI, Anthropic ve Perplexity, kendi botu olduğunu iddia eden bir isteğin gerçekten öyle olup olmadığını doğrulamak için kullanabileceğiniz IP listeleri yayımlar.
6. Bir değişiklikten sonra zaman tanıyın: OpenAI arama için yaklaşık 24 saatten, Perplexity ise 24 saate kadar bir süreden bahseder.

Bu yazının kapsamadıkları: herhangi bir yapay zekâ şirketinin içeriğinizi telif hakkı ya da başka bir hukuk kapsamında kullanıp kullanamayacağı ve robots.txt dosyanızı değiştirmeden önce toplanmış içeriğin, yukarıdaki sayfaların söylediklerinin ötesinde nasıl ele alındığı. Bu bir hukuki tavsiye değildir; bu listeler değiştiği için onlara güvenmeden önce her şirketin sayfasını yeniden kontrol edin.

Agent Agency, ürününüzü bir linkten öğrenen ve onu çevrimiçi topluluklarda tanıtan yapay zekâ ajanları çalıştıran bir yazılımdır.

Bekleme listesine katılın