Crawlers

Google-Extended

Google-ExtendedはGoogleのAIモデル(Gemini)のトレーニング専用クローラーです。従来のGooglebotとは別個で、robots.txtで個別にブロック可能です。

Google-Extendedとは何ですか?

Google-ExtendedはGoogleのrobots.txt制御トークンです。独自のuser-agentでサイトを訪問するロボットではありません。クロールはGooglebotが行い、robots.txtの「User-agent: Google-Extended」の行は、GoogleがコンテンツをAIモデルの学習に使ってよいかどうかの信号にすぎません。

トークンが選べること

  • 許可:GoogleがクロールされたコンテンツをAIモデル(Geminiなど)の学習と補強に利用できます。
  • 拒否:AI学習用途が除外されます。古典的なGoogle Searchのインデックスには影響しません。

Google-Extendedをブロックしても、ページが検索結果から消えるわけではありません。GPTBotやClaudeBotのようにサイトで実際に検出されるHTTPロボットと混同しないでください。

robots.txtの設定

User-agent: Google-Extended
Allow: /

またはDisallow: /でコンテンツのAI利用を拒否します。

Google-ExtendedとAI可視性

Geminiの回答やAI Overviewsでの可視性は、主にGooglebotがページをどう見つけ、理解し、引用するかにかかっています。モデルの学習は別の問題で、このトークンで調整します。完全な戦略のためには、検出可能なAIロボット(GPTBot、ClaudeBot、PerplexityBot)とそのリアルタイム追跡も参照してください。

出典:トークンの状態はGoogle公式ドキュメントで確認:Google-Extended;2026年11月12日確認。

AIの回答で、担当するブランドはどのように紹介されていますか?

代理店、コンサルタント、社内チーム向け。独自のシナリオと選択した言語・モデルで得られた回答を比較できます。私たちのインフラと、皆様のシナリオ・専門知識を組み合わせてください。

さらに詳しく

このテーマを掘り下げた記事をご覧ください

Lire l’article