Crawlers

Google-Extended

Google-Extended ist der Google-Crawler, der speziell für das Training der KI-Modelle (Gemini) zuständig ist. Er ist vom klassischen Googlebot getrennt und kann separat über robots.txt blockiert werden.

Was ist Google-Extended?

Google-Extended ist ein robots.txt-Steuer-Token von Google. Es ist kein Roboter, der Ihre Website mit eigenem User-Agent besucht: Das Crawling übernimmt Googlebot, und die Zeile „User-agent: Google-Extended“ in Ihrer robots.txt legt nur fest, ob Google Ihre Inhalte zum Training seiner KI-Modelle nutzen darf.

Was das Token erlaubt zu entscheiden

  • Erlauben: Google darf gecrawlte Inhalte zum Training und zur Anreicherung seiner KI-Modelle (z. B. Gemini) nutzen.
  • Untersagen: Die Nutzung für KI-Training ist ausgeschlossen, ohne Auswirkung auf die klassische Google-Search-Indexierung.

Google-Extended zu blockieren entfernt Ihre Seiten nicht aus den klassischen Suchergebnissen. Nicht zu verwechseln mit den HTTP-Robotern, die auf Ihrer Website wirklich erkannt werden, wie GPTBot oder ClaudeBot.

robots.txt-Konfiguration

User-agent: Google-Extended
Allow: /

oder Disallow: /, um die KI-Nutzung Ihrer Inhalte abzulehnen.

Google-Extended und KI-Sichtbarkeit

Die Sichtbarkeit in Gemini-Antworten und AI Overviews hängt vor allem davon ab, wie Googlebot Ihre Seiten findet, versteht und zitiert. Das Training der Modelle ist eine davon getrennte Frage, die mit diesem Token geregelt wird. Für eine vollständige Strategie siehe auch die erkennbaren KI-Roboter (GPTBot, ClaudeBot, PerplexityBot) und deren Echtzeit-Tracking.

Quellen: Token-Status in der offiziellen Google-Dokumentation geprüft: Google-Extended; Seite geprüft am 12. November 2026.

Wie erscheinen Ihre Marken in KI-Antworten?

Agenturen, Berater und interne Teams: Vergleichen Sie Antworten auf Ihre eigenen Szenarien in den gewählten Sprachen und Modellen. Unsere Infrastruktur, Ihre Szenarien, Ihre Expertise.

Weiterlesen

Entdecken Sie unseren ausführlichen Artikel zu diesem Thema

Artikel lesen