AIのためのrobots.txt:AIクローラーの最適な設定ガイド

robots.txtは、AIクローラーが最初に読むファイルです。設定を誤れば、AI検索から完全に見えなくなることも、逆に対価なくコンテンツ全体を学習に提供することにもなりかねません。最適な設定方法を解説します。

推奨戦略

最適なアプローチは、AI検索用クローラーを許可しつつ(GPTBot、ClaudeBot、PerplexityBot)、学習用クローラーはブロックする(CCBot、Google-Extended)ことです。検索用クローラーを許可すれば、ChatGPTやPerplexityが回答時にあなたのページを参照・引用できるようになります。学習用クローラーのブロックは任意の判断ですが、コンテンツが無期限の学習データに組み込まれることを防ぎます。

最適化されたrobots.txtの例

# AI検索クローラーを許可
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

# 学習用クローラーをブロック
User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

知っておくべきAIクローラー

クローラー	用途	推奨
GPTBot	ChatGPTの検索・参照	許可
ClaudeBot	Claudeの検索・参照	許可
PerplexityBot	Perplexityの検索	許可
OAI-SearchBot	SearchGPTの検索	許可
CCBot	学習(Common Crawl)	ブロック
Google-Extended	Geminiの学習	ブロック

GPTBotを許可するか拒否するかは、検索面での露出と学習データへの提供のトレードオフです。AI検索での可視性を重視するなら許可が基本です。

WAFに注意

robots.txtが完璧でも、過度に制限的なWAF(CloudflareのBot Fight Modeなど)がAIクローラーをブロックすることがあります。AI Labs Auditは各User-Agentで実際のアクセス可否を自動テストします。

回答エンジン向けの最適なrobots.txtの選び方

最適な設定は一律ではありません。判断基準は3つです。AI検索で引用されたいか(検索系クローラーを許可)、学習データへの提供を制限したいか(学習系をブロック)、そして法務・コンプライアンス上の制約があるか。メディア企業とSaaS企業では最適解が異なります。設定後は、サーバーログで各ボットの実際のアクセス状況を確認し、意図通りに機能しているかを検証してください。

自動チェック

AI Labs AuditのGEOチェックリストは、robots.txtを自動検証し、検索用クローラーと学習用クローラーを区別して、設定ミスを指摘します。