Le User-Agent est un en-tête HTTP envoyé par un navigateur ou un robot lors de chaque requête web, identifiant le logiciel qui effectue la requête (navigateur, bot de moteur de recherche, crawler IA, etc.).
Qu'est-ce qu'un User-Agent ?
Le User-Agent est une chaîne de caractères envoyée dans l'en-tête HTTP de chaque requête web. Elle identifie le logiciel qui effectue la requête.
User-Agents des bots IA
Dans le contexte du tracking IA, les User-Agents sont essentiels pour identifier les robots des moteurs d'IA :
GPTBot/1.0— OpenAI (ChatGPT)ClaudeBot/1.0— Anthropic (Claude)PerplexityBot/1.0— Perplexity AIGoogle-Extended— Google (Gemini)CCBot/2.0— Common Crawl (utilisé par de nombreux LLM)Bytespider— ByteDance
Rôle dans le robots.txt
Le fichier robots.txt utilise les User-Agents pour autoriser ou bloquer l'accès des bots :
User-agent: GPTBot
Disallow: /private/
User-agent: ClaudeBot
Allow: /Pourquoi c'est important ?
L'analyse des User-Agents permet de savoir exactement quels bots IA visitent votre site, à quelle fréquence, et quelles pages ils consultent. C'est la base du tracking IA.