Ogni giorno decine di bot AI visitano il tuo sito: alcuni raccolgono contenuti per addestrare i modelli, altri indicizzano per la ricerca AI, altri ancora recuperano pagine in tempo reale quando un utente fa una domanda a ChatGPT o Perplexity. La maggior parte delle aziende non sa distinguere questi bot e commette uno di due errori opposti: li blocca tutti (sparendo dalle risposte AI) o li ignora del tutto (perdendo controllo sui propri contenuti). In questa guida vediamo chi sono i crawler AI attivi nel 2026, come verificare nei log se stanno leggendo il tuo sito e come configurare robots.txt e Cloudflare in modo strategico.
La mappa dei crawler AI nel 2026: tre famiglie, tre scopi diversi
Il primo errore da evitare è trattare i bot AI come una categoria unica. Nel 2026 i principali operatori usano bot separati per tre funzioni distinte: addestramento dei modelli, indicizzazione per la ricerca AI e recupero in tempo reale su richiesta dell'utente. Bloccare il primo tipo non ti esclude dalle risposte AI; bloccare il secondo e il terzo sì.
| Bot | Azienda | Funzione | Rispetta robots.txt |
|---|---|---|---|
| GPTBot | OpenAI | Addestramento modelli | Sì |
| OAI-SearchBot | OpenAI | Indicizzazione per ChatGPT Search | Sì |
| ChatGPT-User | OpenAI | Recupero in tempo reale su richiesta utente | Parziale: OpenAI avverte che le regole possono non applicarsi |
| ClaudeBot | Anthropic | Addestramento modelli | Sì (dichiarato da Anthropic) |
| Claude-SearchBot | Anthropic | Indicizzazione per la ricerca di Claude | Sì (dichiarato da Anthropic) |
| Claude-User | Anthropic | Recupero su richiesta utente | Sì (dichiarato da Anthropic) |
| PerplexityBot | Perplexity | Indicizzazione per il motore di risposta | Sì |
| Perplexity-User | Perplexity | Recupero su richiesta utente | No: generalmente non applica le direttive |
| Google-Extended | Opt-out addestramento Gemini | Sì (è un token di controllo, non un crawler separato) |
AI Overviews: un caso a parte
Le AI Overviews di Google si basano sulla normale indicizzazione di Googlebot. Bloccare Google-Extended esclude i contenuti dall'addestramento di Gemini ma, secondo la documentazione Google, non incide sul posizionamento in Google Search. Non esiste un opt-out dalle AI Overviews che non comporti la rinuncia allo snippet o all'indicizzazione stessa.
Bloccare o lasciar passare? La decisione che determina la tua visibilità AI
La scelta corretta dipende dal modello di business. Un editore che monetizza con la pubblicità ha interesse a negoziare l'accesso; una PMI di servizi che vuole generare lead ha interesse opposto: farsi leggere e citare il più possibile dai motori AI, perché ogni citazione è un canale di acquisizione.
- Se vendi servizi o prodotti: consenti i bot di ricerca AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot) e i fetcher utente. Sono loro a generare citazioni e referral.
- Se il tuo vantaggio competitivo sono i contenuti proprietari (dati, ricerche, banche dati): valuta il blocco selettivo dei bot di training (GPTBot, ClaudeBot, Google-Extended) mantenendo aperti quelli di ricerca.
- Se monetizzi con advertising: le nuove opzioni Cloudflare di compensazione meritano un'analisi dedicata prima di qualsiasi blocco totale.
- In ogni caso: mai bloccare indiscriminatamente tutti gli user agent AI copiando liste trovate online. È il modo più rapido per sparire da ChatGPT, Perplexity, Copilot e Gemini.
Il paradosso del blocco totale
Molti siti hanno copiato nel 2024-2025 file robots.txt che bloccavano ogni user agent AI. Nel 2026 quegli stessi siti si chiedono perché i competitor vengono citati da ChatGPT e loro no. Prima di incolpare i contenuti, controlla il robots.txt: è il primo punto di un audit AI Search serio.
Come verificare nei log del server se i bot AI leggono il tuo sito
Il robots.txt dice cosa hai chiesto ai bot; solo i log del server dicono cosa fanno davvero. La verifica richiede pochi passaggi e produce un dato che quasi nessun competitor misura: la frequenza con cui i motori AI leggono le tue pagine.
- 1Scarica i log di accesso del server (o usa la dashboard del tuo hosting/CDN) per un periodo di almeno 14 giorni.
- 2Filtra le righe per user agent: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User.
- 3Conta visite per bot e per URL: scopri quali pagine i motori AI leggono di più (spesso non sono quelle che ti aspetti).
- 4Verifica gli IP: gli user agent sono falsificabili. OpenAI e gli altri operatori pubblicano liste ufficiali di range IP in formato machine-readable per distinguere i bot autentici dagli impostori.
- 5Incrocia i dati con le citazioni: se Perplexity legge una pagina ogni settimana ma non la cita mai, il problema è il contenuto, non l'accesso.
Il trucco dei 2 controlli
Un bot AI autentico deve superare due verifiche: user agent corretto E indirizzo IP incluso nei range ufficiali pubblicati dall'operatore. Gli scraper che si spacciano per GPTBot falliscono la seconda. Chi blocca in base al solo user agent blocca anche traffico legittimo mascherato; chi verifica gli IP può bloccare gli impostori e servire i bot veri. Questa distinzione, applicata a livello di firewall o CDN, vale più di qualsiasi riga di robots.txt.
Cloudflare AI Crawl Control e Pay Per Use: cosa cambia da settembre 2026
Cloudflare, che gestisce il traffico di una quota rilevante del web, ha trasformato la gestione dei crawler AI in una funzione di piattaforma. Dopo aver introdotto nel 2025 il blocco di default dei crawler AI per i nuovi clienti e il modello Pay Per Crawl, nel luglio 2026 ha annunciato un ulteriore giro di vite: dal 15 settembre 2026 i crawler ad uso misto (ricerca + AI) verranno bloccati di default sulle pagine che ospitano pubblicità, per i nuovi clienti e per tutti i clienti free.
Contestualmente Pay Per Crawl evolve in Pay Per Use: il compenso per i publisher non si baserà più sulla scansione della pagina ma sull'effettivo utilizzo del contenuto nelle risposte dei chatbot AI. È un cambio di paradigma che sposta il valore dal crawling alla citazione, la stessa metrica su cui si misura il lavoro GEO.
- Se il tuo sito è dietro Cloudflare, verifica ora nel pannello AI Crawl Control quali bot sono bloccati: potresti avere blocchi attivi di default che non hai mai deciso.
- Se punti alle citazioni AI per lead generation, assicurati che i bot di ricerca e i fetcher utente siano esplicitamente consentiti.
- Se produci contenuti editoriali monetizzati, valuta il programma di compensazione invece del semplice blocco.
Controllo in 5 minuti
Dashboard Cloudflare → AI Crawl Control (o AI Audit): vedi quali bot AI visitano il sito, con quale frequenza e quali sono bloccati. È il modo più rapido per scoprire se stai involontariamente escludendo ChatGPT o Perplexity, senza toccare i log del server.
robots.txt per l'AI: la configurazione consigliata per chi vuole farsi citare
Per una PMI o un'azienda di servizi che punta a visibilità nei motori AI, la configurazione di partenza è semplice: tutto aperto per i bot di ricerca e i fetcher utente, decisione consapevole sui bot di training. Il blocco dei bot di training è legittimo e non penalizza la visibilità nella ricerca AI, ma va fatto sapendo che i contenuti non contribuiranno alla conoscenza di base dei modelli futuri, dove il brand può comunque beneficiare di menzioni apprese.
| Obiettivo | Bot di training (GPTBot, ClaudeBot, Google-Extended) | Bot di ricerca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) | Fetcher utente (ChatGPT-User, ecc.) |
|---|---|---|---|
| Massima visibilità AI (lead generation) | Consenti | Consenti | Consenti |
| Protezione contenuti proprietari | Blocca | Consenti | Consenti |
| Contenuti a pagamento / editoria | Blocca o negozia | Valuta caso per caso | Valuta caso per caso |
Ricorda i limiti dello strumento
robots.txt è una richiesta, non una barriera: i fetcher su richiesta utente di alcuni operatori possono non rispettarla. Se servono garanzie, il blocco va applicato a livello di firewall/CDN con verifica IP. E ricorda che llms.txt è un file diverso, con funzione e livello di adozione differenti: ne abbiamo parlato in una guida dedicata.
Strumenti utili per monitorare i crawler AI
- Cloudflare AI Crawl Control / AI Audit (incluso nei piani Cloudflare, anche free): visibilità immediata su quali bot AI visitano il sito e controlli di blocco/consenso per singolo bot.
- Screaming Frog Log File Analyser (licenza a pagamento, versione gratuita limitata): analisi dei log con filtri per user agent, ideale per l'audit periodico.
- GoAccess (gratuito, open source): report in tempo reale dai log del server, utile su hosting con accesso SSH.
- Liste IP ufficiali degli operatori (gratuite): OpenAI e gli altri principali operatori pubblicano i range IP dei propri bot in formato JSON per l'autenticazione.
- robots.txt tester del tuo stack SEO + monitoraggio uptime del file: un robots.txt errato pubblicato per sbaglio può escluderti dai motori AI per settimane.
- GA4 con il canale AI Assistant: per correlare l'attività dei crawler alle sessioni di referral effettive da ChatGPT, Perplexity, Gemini e Copilot.
Il flusso operativo che usiamo in agenzia: verifica trimestrale dei log, autenticazione IP dei bot, matrice robots.txt allineata agli obiettivi di business e correlazione con citazioni e referral AI. È uno dei controlli inclusi nel nostro audit AI Search.
Perché è importante per imprenditori e direzioni marketing
La gestione dei crawler AI è diventata una decisione di business, non solo tecnica. Bloccare il bot sbagliato significa sparire dalle risposte di ChatGPT Search, Perplexity o Copilot proprio mentre questi canali portano traffico qualificato. Lasciare tutto aperto senza monitoraggio significa non sapere chi usa i tuoi contenuti e come. Con le nuove regole Cloudflare in arrivo a settembre 2026, chi non decide ora si troverà una configurazione decisa da altri.
Impatto su SEO, GEO, AEO e AI Search
Un sito accessibile ai crawler di ricerca AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot) ha la possibilità concreta di essere citato nelle risposte generative, con traffico di referral in crescita. La verifica nei log permette inoltre di correlare le visite dei bot AI alle citazioni ottenute, trasformando la gestione crawler in una leva GEO misurabile.
Checklist operativa
- Elenca gli user agent AI presenti nei log del server negli ultimi 14 giorni
- Verifica gli IP dei bot con le liste ufficiali degli operatori
- Controlla il robots.txt attuale: nessun blocco involontario dei bot di ricerca AI
- Se usi Cloudflare, apri AI Crawl Control e verifica i blocchi di default
- Decidi la policy sui bot di training in base al modello di business
- Correla visite dei crawler AI e citazioni ottenute nei motori AI
- Ripeti la verifica ogni trimestre o dopo ogni modifica al robots.txt
Come Libellula Lab 4.0 può aiutarti
In Libellula Lab 4.0 la gestione dei crawler AI è parte integrante del servizio di AI Search Optimization: analizziamo i log, autentichiamo i bot, configuriamo robots.txt e CDN in base agli obiettivi di business e misuriamo l'impatto su citazioni e referral AI. Se vuoi sapere quali motori AI stanno leggendo il tuo sito e se la configurazione attuale ti sta facendo perdere citazioni, parti da un audit gratuito.
Libellula Lab 4.0
Vuoi trasformare questo tema in un vantaggio competitivo?
Analizziamo sito, processi, contenuti, campagne e automazioni per individuare opportunità concrete di crescita per la tua azienda.