Google-ExtendedはGoogleのAIモデル(Gemini)のトレーニング専用クローラーです。従来のGooglebotとは別個で、robots.txtで個別にブロック可能です。
Google-Extendedとは何ですか?
Google-ExtendedはGoogleのrobots.txt制御トークンです。独自のuser-agentでサイトを訪問するロボットではありません。クロールはGooglebotが行い、robots.txtの「User-agent: Google-Extended」の行は、GoogleがコンテンツをAIモデルの学習に使ってよいかどうかの信号にすぎません。
トークンが選べること
- 許可:GoogleがクロールされたコンテンツをAIモデル(Geminiなど)の学習と補強に利用できます。
- 拒否:AI学習用途が除外されます。古典的なGoogle Searchのインデックスには影響しません。
Google-Extendedをブロックしても、ページが検索結果から消えるわけではありません。GPTBotやClaudeBotのようにサイトで実際に検出されるHTTPロボットと混同しないでください。
robots.txtの設定
User-agent: Google-Extended Allow: /
またはDisallow: /でコンテンツのAI利用を拒否します。
Google-ExtendedとAI可視性
Geminiの回答やAI Overviewsでの可視性は、主にGooglebotがページをどう見つけ、理解し、引用するかにかかっています。モデルの学習は別の問題で、このトークンで調整します。完全な戦略のためには、検出可能なAIロボット(GPTBot、ClaudeBot、PerplexityBot)とそのリアルタイム追跡も参照してください。
出典:トークンの状態はGoogle公式ドキュメントで確認:Google-Extended;2026年11月12日確認。
代理店、コンサルタント、社内チーム向け。独自のシナリオと選択した言語・モデルで得られた回答を比較できます。私たちのインフラと、皆様のシナリオ・専門知識を組み合わせてください。