GPTBot è il crawler web di OpenAI che esplora internet per alimentare i dati di ChatGPT. Identificabile dall'User-Agent "GPTBot/1.0", può essere autorizzato o bloccato tramite robots.txt.
Cos'è GPTBot?
GPTBot è il crawler web sviluppato da OpenAI. Il suo ruolo è esplorare i siti web per raccogliere i dati utilizzati per addestrare e alimentare i modelli GPT, in particolare ChatGPT. Può essere identificato nei log del server dal suo User-Agent "GPTBot/1.0".
Conviene autorizzare GPTBot?
La questione è strategica per la visibilità IA:
- Autorizzare GPTBot: i contenuti del brand alimentano ChatGPT, aumentando le probabilità di essere citati nelle risposte. È la strategia consigliata per il GEO
- Bloccare GPTBot: protegge la proprietà intellettuale ma riduce la visibilità su ChatGPT
Configurazione di robots.txt
Il controllo avviene tramite il file robots.txt:
User-agent: GPTBot
Allow: / # Autorizza l'intero sito
Disallow: /private/ # Blocca determinate sezioni
Monitoraggio con AI Labs Audit
AI Labs Audit rileva automaticamente le visite di GPTBot sul sito del brand tramite il modulo di tracciamento. È possibile misurare la frequenza di crawl e correlarla con la visibilità su ChatGPT. Vedi anche: ClaudeBot, PerplexityBot, Google-Extended.
Ogni domanda posta a ChatGPT senza il brand nella risposta è un concorrente raccomandato al suo posto: misurato su 6.820 risposte reali di IA.