Robots.txt

Robots.txtファイルとは?

Robots.txtファイルは、Webサイトのルートに配置される標準のテキストファイル(example.com/robots.txt)で、クローラー(ロボット)にアクセス指示を伝達します。サイトのどの部分を探索し、どの部分を無視するかを指定します。これはGooglebot、GPTBot、その他のクローラーがサイトを探索する前に最初に参照するものです。

Robots.txtとAIクローラー

AIの台頭により、新たなクローラーが登場しました:

• GPTBot: OpenAIのクローラーでChatGPTにデータを供給
• ClaudeBot: AnthropicのクローラーでClaudeにデータを供給
• PerplexityBot: Perplexity AIのクローラー
• Google-Extended: GoogleのクローラーでGemini用
• Bytespider: ByteDance(TikTok)のクローラー

AI可視性を最大化するための推奨設定

AI上での可視性を最大化するため、robots.txtでAIクローラーを許可する必要があります:

# AIクローラーを許可
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Sitemap
Sitemap: https://example.com/sitemap.xml

よくある誤り

• すべてのボットをブロック: "User-agent: * / Disallow: /"はAIクローラーもブロックします
• AIクローラーを忘れる: GPTBotがブロックされていると、ChatGPTはコンテンツをインデックスできません
• Robots.txtがない: クローラーが優先順位なしにすべてを探索します

Robots.txtとAI Labs Audit

AI Labs AuditのGEOスコアは、監査対象サイトのrobots.txtファイルを自動的にチェックし、重要なAIクローラーがブロックされている場合にアラートを出します。