SEO技術

Robots.txt

Robots.txtファイルは、Webサイトのルートに配置されるテキストファイルで、クローラー(ロボット)がどのページを探索できるか、できないかを指示するもので、現在はAIクローラーも対象となります。

Robots.txtファイルとは?

Robots.txtファイルは、Webサイトのルートに配置される標準のテキストファイル(example.com/robots.txt)で、クローラー(ロボット)にアクセス指示を伝達します。サイトのどの部分を探索し、どの部分を無視するかを指定します。これはGooglebot、GPTBot、その他のクローラーがサイトを探索する前に最初に参照するものです。

Robots.txtとAIクローラー

AIの台頭により、新たなクローラーが登場しました:

  • GPTBot: OpenAIのクローラーでChatGPTにデータを供給
  • ClaudeBot: AnthropicのクローラーでClaudeにデータを供給
  • PerplexityBot: Perplexity AIのクローラー
  • Google-Extended: GoogleのクローラーでGemini用
  • Bytespider: ByteDance(TikTok)のクローラー

AI可視性を最大化するための推奨設定

AI上での可視性を最大化するため、robots.txtでAIクローラーを許可する必要があります:

# AIクローラーを許可
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Sitemap
Sitemap: https://example.com/sitemap.xml

よくある誤り

  • すべてのボットをブロック: "User-agent: * / Disallow: /"はAIクローラーもブロックします
  • AIクローラーを忘れる: GPTBotがブロックされていると、ChatGPTはコンテンツをインデックスできません
  • Robots.txtがない: クローラーが優先順位なしにすべてを探索します

Robots.txtとAI Labs Audit

AI Labs AuditのGEOスコアは、監査対象サイトのrobots.txtファイルを自動的にチェックし、重要なAIクローラーがブロックされている場合にアラートを出します。

AIの回答で、担当するブランドはどのように紹介されていますか?

代理店、コンサルタント、社内チーム向け。独自のシナリオと選択した言語・モデルで得られた回答を比較できます。私たちのインフラと、皆様のシナリオ・専門知識を組み合わせてください。

さらに詳しく

このテーマを掘り下げた記事をご覧ください

Lire l’article