技術

User-Agent

User-Agentは、各Webリクエストの際にブラウザまたはロボットによって送信されるHTTPヘッダーで、リクエストを実行するソフトウェア(ブラウザ、検索エンジンボット、AIクローラーなど)を識別します。

User-Agentとは?

User-Agentは、各WebリクエストのHTTPヘッダーで送信される文字列です。リクエストを実行するソフトウェアを識別します。

AIボットのUser-Agent

AIトラッキングの文脈において、User-AgentはAIエンジンのロボットを識別するために不可欠です:

  • GPTBot/1.0 — OpenAI (ChatGPT)
  • ClaudeBot/1.0 — Anthropic (Claude)
  • PerplexityBot/1.0 — Perplexity AI
  • Google-Extended — Google (Gemini)
  • CCBot/2.0 — Common Crawl (多数のLLMで使用)
  • Bytespider — ByteDance

robots.txtにおける役割

robots.txtファイルは、User-Agentを使用してボットのアクセスを許可またはブロックします:

User-agent: GPTBot
Disallow: /private/

User-agent: ClaudeBot
Allow: /

なぜ重要なのか?

User-Agentの分析により、どのAIボットがサイトを訪問しているか、頻度、閲覧しているページを正確に把握できます。これはAIトラッキングの基盤です。

AIの回答で、担当するブランドはどのように紹介されていますか?

代理店、コンサルタント、社内チーム向け。独自のシナリオと選択した言語・モデルで得られた回答を比較できます。私たちのインフラと、皆様のシナリオ・専門知識を組み合わせてください。