EN
FR
ES
DE
IT
KO
JA
robots.txtファイルは、AIクローラーが最初に読み取るものです。誤った設定をすると、検索結果に表示されなくなったり、逆に対価なしでコンテンツを提供してしまう可能性があります。
推奨戦略
最適なアプローチ:AI検索クローラー(GPTBot、ClaudeBot、PerplexityBot)を許可しながら、トレーニング用クローラー(CCBot、Google-Extended)をブロックすること。
最適化されたrobots.txtの例
# AI検索クローラーを許可
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: CohereBot
Allow: /
# トレーニング用クローラーをブロック
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot-Training
Disallow: /知っておくべきAIクローラー
| クローラー | 用途 | 推奨 |
|---|---|---|
| GPTBot | ChatGPT検索 | ✅ 許可 |
| ClaudeBot | Claude検索 | ✅ 許可 |
| PerplexityBot | Perplexity検索 | ✅ 許可 |
| CCBot | トレーニング(Common Crawl) | ❌ ブロック |
| Google-Extended | Geminiトレーニング | ❌ ブロック |
WAFに注意
完璧なrobots.txtがあっても、制限が厳しすぎるWAF(Cloudflare Bot Fight Modeなど)がAIクローラーをブロックすることがあります。AI Labs Auditは、各user-agentで実際のアクセスを自動的にテストします。
自動検証
AI Labs AuditのGEOチェックリストは、robots.txtを自動的に検証し、検索用クローラーとトレーニング用クローラーを区別します。
AIの回答では、ブランドが登場するのは6回に1回だけです。あなたのブランドは？
ChatGPTへの質問の回答にあなたの名前がなければ、その分だけ競合があなたの代わりに推奨されています——実際のAI回答6,820件で測定。