User-Agent

Qu'est-ce qu'un User-Agent ?

Le User-Agent est une chaîne de caractères envoyée dans l'en-tête HTTP de chaque requête web. Elle identifie le logiciel qui effectue la requête.

User-Agents des bots IA

Dans le contexte du tracking IA, les User-Agents sont essentiels pour identifier les robots des moteurs d'IA :

• GPTBot/1.0 — OpenAI (ChatGPT)
• ClaudeBot/1.0 — Anthropic (Claude)
• PerplexityBot/1.0 — Perplexity AI
• Google-Extended — Google (Gemini)
• CCBot/2.0 — Common Crawl (utilisé par de nombreux LLM)
• Bytespider — ByteDance

Rôle dans le robots.txt

Le fichier robots.txt utilise les User-Agents pour autoriser ou bloquer l'accès des bots :

User-agent: GPTBot
Disallow: /private/

User-agent: ClaudeBot
Allow: /

Pourquoi c'est important ?

L'analyse des User-Agents permet de savoir exactement quels bots IA visitent votre site, à quelle fréquence, et quelles pages ils consultent. C'est la base du tracking IA.