Crawlers

Google-Extended

Google-Extended est le crawler de Google spécifiquement dédié à l'entraînement des modèles IA (Gemini). Distinct de Googlebot classique, il peut être bloqué séparément via robots.txt.

Qu'est-ce que Google-Extended ?

Google-Extended est un User-Agent spécifique de Google, distinct du Googlebot classique utilisé pour l'indexation Search. Son rôle est de collecter des données pour l'entraînement des modèles IA de Google, notamment Gemini (anciennement Bard). Cette séparation permet aux éditeurs de sites de contrôler indépendamment l'accès à leurs contenus pour la recherche classique et pour l'IA.

Différence avec Googlebot

  • Googlebot : Crawle pour l'indexation Google Search (résultats classiques)
  • Google-Extended : Crawle pour l'entraînement des modèles IA Google (Gemini, AI Overviews)

Bloquer Google-Extended n'affecte pas votre référencement classique sur Google Search.

Configuration robots.txt

User-agent: Google-Extended
Allow: /        # Autoriser pour la visibilité IA
# ou
Disallow: /     # Bloquer l'entraînement IA

Stratégie recommandée

Pour maximiser votre visibilité sur Gemini et les AI Overviews, il est recommandé d'autoriser Google-Extended. Combiné avec l'autorisation de GPTBot, ClaudeBot et PerplexityBot, cela constitue une stratégie GEO complète pour tous les principaux modèles IA.