AIのためのrobots.txt:AIクローラーの最適な設定ガイド

robots.txtは、AIクローラーが最初に読むファイルです。設定を誤れば、AI検索から完全に見えなくなることも、逆に対価なくコンテンツ全体を学習に提供することにもなりかねません。最適な設定方法を解説します。

推奨戦略

最適なアプローチは、AI検索用クローラーを許可しつつ(GPTBot、ClaudeBot、PerplexityBot)、学習用クローラーはブロックする(CCBot、Google-Extended)ことです。検索用クローラーを許可すれば、ChatGPTやPerplexityが回答時にあなたのページを参照・引用できるようになります。学習用クローラーのブロックは任意の判断ですが、コンテンツが無期限の学習データに組み込まれることを防ぎます。

最適化されたrobots.txtの例

# AI検索クローラーを許可
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

# 学習用クローラーをブロック
User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

知っておくべきAIクローラー

クローラー用途推奨
GPTBotChatGPTの検索・参照許可
ClaudeBotClaudeの検索・参照許可
PerplexityBotPerplexityの検索許可
OAI-SearchBotSearchGPTの検索許可
CCBot学習(Common Crawl)ブロック
Google-ExtendedGeminiの学習ブロック

GPTBotを許可するか拒否するかは、検索面での露出と学習データへの提供のトレードオフです。AI検索での可視性を重視するなら許可が基本です。

WAFに注意

robots.txtが完璧でも、過度に制限的なWAF(CloudflareのBot Fight Modeなど)がAIクローラーをブロックすることがあります。AI Labs Auditは各User-Agentで実際のアクセス可否を自動テストします。

回答エンジン向けの最適なrobots.txtの選び方

最適な設定は一律ではありません。判断基準は3つです。AI検索で引用されたいか(検索系クローラーを許可)、学習データへの提供を制限したいか(学習系をブロック)、そして法務・コンプライアンス上の制約があるか。メディア企業とSaaS企業では最適解が異なります。設定後は、サーバーログで各ボットの実際のアクセス状況を確認し、意図通りに機能しているかを検証してください。

自動チェック

AI Labs AuditのGEOチェックリストは、robots.txtを自動検証し、検索用クローラーと学習用クローラーを区別して、設定ミスを指摘します。

著者について

Davy Abderrahman

創設者

AIの回答における可視性(AEO/GEO/LLMO)の専門家として、代理店やコンサルタントが、ChatGPT、Claude、Gemini、PerplexityなどのAI回答エンジンで顧客の情報がどのように表示されるかを測定・分析できるよう支援しています。

AEO GEO LLMO AI回答での可視性 AI監査
AIの回答で、担当するブランドはどのように紹介されていますか?

代理店、コンサルタント、社内チーム向け。独自のシナリオと選択した言語・モデルで得られた回答を比較できます。私たちのインフラと、皆様のシナリオ・専門知識を組み合わせてください。

この記事は役に立ちましたか?

- (0 votes)