L'essenziale in 30 secondi

  • Il tuo robots.txt è la prima cosa che i crawler IA leggono. Una configurazione errata può renderti invisibile su ChatGPT, Claude e Perplexity
  • La strategia ottimale: autorizzare i crawler IA di ricerca (GPTBot, ClaudeBot, PerplexityBot) e bloccare i crawler di training (CCBot, Google-Extended)
  • Un WAF troppo restrittivo (Cloudflare Bot Fight Mode) può bloccare i crawler IA anche con un robots.txt perfetto
  • AI Labs Audit testa automaticamente l'accesso reale di ogni crawler IA al tuo sito

Il tuo file robots.txt è la prima cosa che i crawler IA leggono quando visitano il tuo sito. Una configurazione errata può renderti completamente invisibile su ChatGPT, Claude e Perplexity, o al contrario offrire tutto il tuo contenuto ai crawler di training senza alcuna contropartita in termini di visibilità. Ecco come configurare il tuo robots.txt in modo ottimale per le IA.

Comprendere i due tipi di crawler IA

Non tutti i crawler IA sono uguali. È essenziale distinguere due categorie con obiettivi molto diversi:

Crawler di ricerca IA (da autorizzare)

Questi crawler indicizzano i tuoi contenuti per rispondere alle domande degli utenti in tempo reale. Autorizzarli significa che le IA potranno citare il tuo sito come fonte nelle loro risposte, generando traffico verso le tue pagine.

CrawlerEditoreUtilizzo
GPTBotOpenAIRicerca web per ChatGPT e i plugin
ClaudeBotAnthropicRicerca web per Claude
PerplexityBotPerplexity AIIndicizzazione in tempo reale per Perplexity Search
CohereBotCohereRicerca per le applicazioni Cohere
YouBotYou.comMotore di ricerca IA You.com

Crawler di training (da bloccare)

Questi crawler raccolgono i tuoi contenuti per addestrare i modelli linguistici. Bloccarli non riduce la tua visibilità poiché non influenzano le risposte in tempo reale, ma protegge la tua proprietà intellettuale.

CrawlerEditoreUtilizzo
CCBotCommon CrawlDataset di training open source utilizzato da numerosi LLM
Google-ExtendedGoogleTraining dei modelli Gemini
GPTBot-TrainingOpenAIRaccolta dati di training (distinto dalla ricerca)
FacebookBotMetaTraining dei modelli Llama
BytespiderByteDanceTraining e indicizzazione TikTok/Douyin

Configurazione robots.txt ottimale

Ecco la configurazione consigliata che massimizza la tua visibilità sulle IA di ricerca proteggendo al contempo i tuoi contenuti dall'utilizzo per il training:

# === Crawler IA di ricerca: AUTORIZZARE ===
# Questi crawler citano il tuo sito nelle risposte IA

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: CohereBot
Allow: /

User-agent: YouBot
Allow: /

# === Crawler di training: BLOCCARE ===
# Questi crawler raccolgono i tuoi dati senza contropartita

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: GPTBot-Training
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Bytespider
Disallow: /

Gli errori più frequenti

Errore 1: Bloccare tutti i bot IA

La regola User-agent: * seguita da Disallow: / blocca indistintamente i crawler di ricerca e di training. Risultato: il tuo sito è invisibile sulle IA di ricerca. Alcune aziende aggiungono questa regola per precauzione senza rendersi conto dell'impatto sulla loro visibilità.

Errore 2: Non avere affatto un robots.txt

L'assenza di robots.txt è meglio che bloccare tutto, ma perdi il controllo: i crawler di training possono liberamente raccogliere i tuoi contenuti.

Errore 3: Bloccare GPTBot pensando di bloccare il training

GPTBot è utilizzato per la ricerca web di ChatGPT, non per il training. Bloccarlo significa che ChatGPT non potrà citare il tuo sito nelle sue risposte con ricerca web.

La trappola del WAF e di Cloudflare

Anche con un robots.txt perfettamente configurato, il tuo sito può rimanere invisibile per le IA se il tuo WAF (Web Application Firewall) blocca i crawler IA:

  • Cloudflare Bot Fight Mode: questa funzionalità blocca aggressivamente i bot automatizzati, inclusi GPTBot e ClaudeBot. Se la attivi, il tuo robots.txt viene ignorato perché i crawler non arrivano mai fino ad esso
  • Regole WAF troppo restrittive: regole basate sullo user-agent o sul comportamento possono bloccare i crawler IA legittimi
  • Rate limiting: limiti di richieste troppo bassi possono impedire ai crawler di indicizzare un numero sufficiente di pagine

La soluzione: aggiungi eccezioni nel tuo WAF per gli user-agent dei crawler IA di ricerca che desideri autorizzare.

Verifica automatica con AI Labs Audit

La checklist GEO di AI Labs Audit non si limita a leggere il tuo robots.txt. Testa l'accesso reale di ogni crawler IA al tuo sito:

  • Test robots.txt: verifica delle regole per ogni user-agent IA (GPTBot, ClaudeBot, PerplexityBot)
  • Test SSR: simulazione dell'accesso reale con ogni user-agent per verificare che il WAF non blocchi
  • Distinzione ricerca/training: il report distingue chiaramente i crawler che devi autorizzare da quelli che puoi bloccare
  • Raccomandazioni attuabili: se viene rilevato un problema, il report fornisce la configurazione robots.txt esatta da applicare

Andare oltre: llms.txt e meta tag

Il robots.txt è solo un elemento della tua strategia di accessibilità IA. Altri due meccanismi complementari meritano la tua attenzione:

  • llms.txt: un file posizionato alla radice del tuo sito che fornisce alle IA un riepilogo strutturato della tua azienda, dei tuoi prodotti e delle tue pagine chiave. È l'equivalente di un briefing per le IA (impatto non dimostrato ad oggi)
  • Meta tag noai: la direttiva <meta name="robots" content="noai"> può essere inserita pagina per pagina per escludere determinate pagine dall'utilizzo da parte delle IA. Utile per le pagine sensibili senza bloccare l'intero sito

Verifica che le IA possano accedere al tuo sito

Avvia la checklist GEO