EN
FR
ES
DE
IT
KO
JA
Il file robots.txt è un file di testo collocato nella radice di un sito web che indica ai robot di scansione (crawler) quali pagine possono o non possono esplorare, comprese le IA.
Cos'è il file robots.txt?
Il file robots.txt è un file di testo standard collocato nella radice di un sito web (esempio.com/robots.txt) che comunica le direttive di accesso ai robot di scansione (crawler): quali parti del sito esplorare e quali ignorare. È la prima cosa che Googlebot, GPTBot e gli altri crawler controllano prima di esplorare il sito.
Robots.txt e crawler IA
Con l'avvento dell'IA sono apparsi nuovi crawler:
- GPTBot: il crawler di OpenAI per alimentare ChatGPT
- ClaudeBot: il crawler di Anthropic per alimentare Claude
- PerplexityBot: il crawler di Perplexity AI
- Google-Extended: il crawler di Google per Gemini
- Bytespider: il crawler di ByteDance (TikTok)
Configurazione consigliata per la visibilità IA
Per massimizzare la visibilità IA, il robots.txt dovrebbe autorizzare i crawler IA:
# Autorizza i crawler IA
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Mappa del sito
Sitemap: https://example.com/sitemap.xmlErrori comuni
- Bloccare tutti i bot: "User-agent: * / Disallow: /" blocca anche i crawler IA
- Dimenticare i crawler IA: se GPTBot è bloccato, ChatGPT non può indicizzare i contenuti
- Nessun robots.txt: i crawler esplorano tutto senza priorità
Robots.txt e AI Labs Audit
Il GEO Score di AI Labs Audit verifica automaticamente il file robots.txt e segnala se importanti crawler IA sono bloccati.
Ogni domanda posta a ChatGPT senza il brand nella risposta è un concorrente raccomandato al suo posto: misurato su 6.820 risposte reali di IA.