robots.txt pour les IA : guide de configuration optimale des crawlers IA

<p>Votre fichier <code>robots.txt</code> est la <strong>première chose que les crawlers IA lisent</strong>. Une mauvaise configuration peut vous rendre invisible ou au contraire offrir tout votre contenu sans contrepartie.</p><h2>Stratégie recommandée</h2><p>L'approche optimale : <strong>autoriser les crawlers de recherche IA</strong> (GPTBot, ClaudeBot, PerplexityBot) tout en <strong>bloquant les crawlers d'entraînement</strong> (CCBot, Google-Extended).</p><h3>Exemple robots.txt optimisé</h3><pre><code># Autoriser les crawlers IA de recherche User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: CohereBot Allow: / # Bloquer les crawlers d'entraînement User-agent: CCBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: GPTBot-Training Disallow: /</code></pre><h2>Les crawlers IA à connaître</h2><table><tr><th>Crawler</th><th>Usage</th><th>Recommandation</th></tr><tr><td>GPTBot</td><td>Recherche ChatGPT</td><td>✅ Autoriser</td></tr><tr><td>ClaudeBot</td><td>Recherche Claude</td><td>✅ Autoriser</td></tr><tr><td>PerplexityBot</td><td>Recherche Perplexity</td><td>✅ Autoriser</td></tr><tr><td>CCBot</td><td>Entraînement (Common Crawl)</td><td>❌ Bloquer</td></tr><tr><td>Google-Extended</td><td>Entraînement Gemini</td><td>❌ Bloquer</td></tr></table><h2>Attention au WAF</h2><p>Même avec un robots.txt parfait, un <strong>WAF trop restrictif</strong> (Cloudflare Bot Fight Mode) peut bloquer les crawlers IA. AI Labs Audit teste automatiquement l'accès réel avec chaque user-agent.</p><h2>Vérification automatique</h2><p>La <strong>checklist GEO</strong> d'AI Labs Audit vérifie automatiquement votre robots.txt et distingue les crawlers de recherche des crawlers d'entraînement.</p>