Crawlers

ClaudeBot

ClaudeBot est le crawler d'Anthropic qui parcourt le web pour alimenter les données de Claude. Identifiable par le User-Agent "ClaudeBot", il est configurable via robots.txt.

Qu'est-ce que ClaudeBot ?

ClaudeBot est l'agent d'exploration web développé par Anthropic pour collecter des données destinées à entraîner et alimenter le modèle Claude. Comme GPTBot pour OpenAI, ClaudeBot parcourt les sites web publics et respecte les directives du fichier robots.txt.

Identifier ClaudeBot dans vos logs

ClaudeBot se présente avec le User-Agent "ClaudeBot" dans les requêtes HTTP. AI Labs Audit détecte automatiquement ses visites et les intègre dans le tableau de bord de tracking des bots IA.

Configuration recommandée

Pour maximiser votre visibilité sur Claude, il est recommandé d'autoriser ClaudeBot :

User-agent: ClaudeBot
Allow: /

ClaudeBot et votre stratégie GEO

Autoriser ClaudeBot fait partie d'une stratégie GEO complète. Plus vos contenus sont accessibles aux crawlers IA, plus vous avez de chances d'être cité dans les réponses. AI Labs Audit mesure la corrélation entre la fréquence de crawl et votre Hero Grade sur chaque modèle.