Crawler AI e robots.txt: cosa dovrebbe consentire un brand

Se vuoi che il tuo brand compaia nelle risposte AI, consenti i crawler di ricerca: OAI-SearchBot (ricerca di ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity) e Googlebot (Google Search). Consentire anche i crawler di addestramento, cioè GPTBot, ClaudeBot e il token Google-Extended, è una scelta separata: al 2026-10-16 ogni azienda documenta separatamente i propri agenti di addestramento e di ricerca, e OpenAI e Google dicono chiaramente che escludersi dall’addestramento non equivale a escludersi dalla loro ricerca.

Come abbiamo verificato: il 2026-10-16 abbiamo letto le pagine sui crawler pubblicate da OpenAI, Anthropic, Perplexity e Google, oltre alla documentazione di Google su robots.txt. Ogni citazione qui sotto viene da quelle pagine.

Bot di addestramento, bot di ricerca e fetcher degli utenti

Le quattro aziende descrivono tre tipi diversi di visitatori:

I crawler di addestramento raccolgono contenuti che possono servire ad addestrare modelli AI: GPTBot, ClaudeBot e Google-Extended (un token di controllo, non un crawler a sé). La pagina di Perplexity dice che nessuno dei suoi agenti viene usato per raccogliere contenuti con cui addestrare i modelli AI di base.
I crawler di ricerca indicizzano le pagine così che l’assistente possa trovarle e linkarle quando risponde: OAI-SearchBot, Claude-SearchBot, PerplexityBot e Googlebot per Google Search.
I fetcher avviati dagli utenti visitano una pagina perché una persona ha chiesto qualcosa all’assistente: ChatGPT-User, Claude-User e Perplexity-User. Il modo in cui trattano robots.txt cambia da azienda ad azienda, come mostrano le sezioni qui sotto.

Per un brand, sono i crawler di ricerca a decidere se le tue pagine possono essere trovate e linkate nelle risposte della ricerca AI. Consentirli non significa che verrai citato; significa solo che non ti stai escludendo da solo.

OpenAI: GPTBot, OAI-SearchBot e ChatGPT-User

La panoramica sui crawler di OpenAI elenca gli user agent e dice che ogni impostazione è indipendente dalle altre. Sulla ricerca:

“Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.”

Sull’addestramento:

“Disallowing GPTBot indicates a site's content should not be used in training generative AI foundation models.”

La stessa pagina porta l’esempio di un sito che consente OAI-SearchBot per comparire nella ricerca e blocca GPTBot. Precisa che, se sono consentiti entrambi, OpenAI può usare una sola scansione per i due scopi, e che per la ricerca «possono servire circa 24 ore da un aggiornamento del robots.txt di un sito perché i nostri sistemi si adeguino».

ChatGPT-User è un caso diverso. OpenAI dice che «non viene usato per scansionare il web in modo automatico» e che, «poiché queste azioni sono avviate da un utente, le regole di robots.txt potrebbero non applicarsi». Dice anche che ChatGPT-User non serve a decidere se un contenuto compare nella ricerca: il token per quello è OAI-SearchBot. La pagina elenca anche OAI-AdsBot, che visita solo le pagine inviate come annunci su ChatGPT.

Anthropic: ClaudeBot, Claude-SearchBot e Claude-User

L’articolo di aiuto sulla scansione di Anthropic descrive tre bot e cosa succede quando li disattivi uno per uno. ClaudeBot raccoglie contenuti che potrebbero contribuire all’addestramento dei modelli:

“When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.”

Nota la parola «future», cioè futuri. Claude-SearchBot indicizza i contenuti per la ricerca, e Anthropic dice che disattivarlo «può ridurre la visibilità e l’accuratezza del tuo sito nei risultati di ricerca degli utenti». Claude-User recupera le pagine quando una persona fa una domanda a Claude; Anthropic dice che disattivarlo impedisce il recupero in risposta alla domanda di un utente e «può ridurre la visibilità del tuo sito nella ricerca web guidata dagli utenti».

Anthropic afferma che i suoi bot rispettano le «direttive standard del settore in robots.txt», supportano l’estensione non standard Crawl-delay e richiedono che la regola di robots.txt venga ripetuta su ogni sottodominio che vuoi escludere. Sconsiglia di affidarsi invece al blocco degli IP, perché in quel modo i suoi bot non riescono più a leggere il tuo file robots.txt.

Perplexity: PerplexityBot e Perplexity-User

La pagina sui crawler di Perplexity descrive PerplexityBot come un crawler di ricerca:

“PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.”

Perplexity consiglia di consentire PerplexityBot in robots.txt se vuoi comparire nei suoi risultati di ricerca. Perplexity-User gestisce i recuperi avviati dalle persone, e qui la pagina è diretta: «Poiché il recupero è stato richiesto da un utente, questo fetcher in genere ignora le regole di robots.txt». Perplexity dice che le modifiche possono richiedere fino a 24 ore per essere recepite.

Google: Googlebot e Google-Extended

L’elenco dei crawler comuni di Google dice che questi crawler «rispettano sempre le regole di robots.txt quando eseguono la scansione automatica». Le regole rivolte a Googlebot riguardano Google Search. Google-Extended funziona in modo diverso: non ha una propria stringa user agent HTTP, e il token si usa solo in robots.txt per stabilire se i contenuti scansionati possono servire ad addestrare i futuri modelli Gemini e per il grounding nelle Gemini Apps e in Vertex AI. Su Search, Google è esplicita:

“Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.”

Le regole per Googlebot riguardano Google Search, quindi bloccare Googlebot non è un modo per escludersi dall’addestramento di Gemini senza toccare anche Search. Google-Extended è il token che Google documenta per il lato Gemini.

Un robots.txt per i brand che vogliono farsi trovare

Il robots.txt di un brand che vuole farsi trovare nella ricerca AI ma escludersi dall’addestramento dei modelli potrebbe essere così. Se ti sta bene che le tue pagine pubbliche vengano usate per l’addestramento, ometti semplicemente gli ultimi tre gruppi.

User-agent: Googlebot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Prima di modificarlo conviene conoscere due dettagli della documentazione di Google:

La specifica di robots.txt di Google dice che «per un determinato crawler è valido un solo gruppo»: vince lo user agent corrispondente più specifico, e il gruppo * non si somma a esso. Se nomini un bot, ripeti dentro il suo gruppo tutte le righe Disallow del gruppo * che devono continuare a valere anche per lui.
La stessa specifica dice che le regole valgono solo per l’host, il protocollo e la porta da cui il file viene servito, quindi blog.example.com ha bisogno di un file suo.

L’introduzione a robots.txt di Google avverte anche che «crawler diversi interpretano la sintassi in modo diverso» e che robots.txt non può imporre un comportamento: «spetta al crawler rispettarle». È un segnale per la scansione, non un controllo degli accessi.

Come controllare cosa consente il tuo robots.txt

Apri https://yourdomain.com/robots.txt in un browser, poi ripeti per ogni sottodominio che serve contenuti che ti interessano.
Cerca un gruppo User-agent: * con Disallow: /. A meno che un bot non abbia un gruppo suo, quella riga gli dice di stare fuori da tutto il sito.
Cerca nel file ciascuno dei token visti sopra. Un gruppo con il nome del bot prevale su * per quel bot, quindi controlla che dica quello che intendi.
In Google Search Console apri il rapporto robots.txt. Mostra i file robots.txt che Google ha trovato per i primi 20 host del tuo sito, quando sono stati scansionati l’ultima volta ed eventuali errori o avvisi di analisi. Funziona solo per le proprietà a livello di dominio.
Controlla le impostazioni sui bot del tuo firewall o della tua CDN. Perplexity fa notare che i siti dietro un web application firewall potrebbero dover consentire esplicitamente i suoi bot. OpenAI, Anthropic e Perplexity pubblicano elenchi di IP con cui verificare che una richiesta che dice di venire dal loro bot venga davvero da lì.
Dopo una modifica, aspetta: OpenAI parla di circa 24 ore per la ricerca, Perplexity di un massimo di 24 ore.

Cosa non copre questa guida: se un’azienda AI possa usare i tuoi contenuti secondo il diritto d’autore o altre leggi, e come vengono trattati i contenuti raccolti prima che tu modificassi robots.txt, al di là di quanto dicono le pagine citate. Non è una consulenza legale; ricontrolla la pagina di ogni azienda prima di farci affidamento, perché questi elenchi cambiano.

Agent Agency è un software che impara a conoscere il tuo prodotto da un link e mette al lavoro agenti AI che lo promuovono nelle community online.

Mettiti in lista d’attesa