User-Agentは、各Webリクエストの際にブラウザまたはロボットによって送信されるHTTPヘッダーで、リクエストを実行するソフトウェア(ブラウザ、検索エンジンボット、AIクローラーなど)を識別します。
User-Agentとは?
User-Agentは、各WebリクエストのHTTPヘッダーで送信される文字列です。リクエストを実行するソフトウェアを識別します。
AIボットのUser-Agent
AIトラッキングの文脈において、User-AgentはAIエンジンのロボットを識別するために不可欠です:
GPTBot/1.0— OpenAI (ChatGPT)ClaudeBot/1.0— Anthropic (Claude)PerplexityBot/1.0— Perplexity AIGoogle-Extended— Google (Gemini)CCBot/2.0— Common Crawl (多数のLLMで使用)Bytespider— ByteDance
robots.txtにおける役割
robots.txtファイルは、User-Agentを使用してボットのアクセスを許可またはブロックします:
User-agent: GPTBot
Disallow: /private/
User-agent: ClaudeBot
Allow: /
なぜ重要なのか?
User-Agentの分析により、どのAIボットがサイトを訪問しているか、頻度、閲覧しているページを正確に把握できます。これはAIトラッキングの基盤です。
AIの回答で、担当するブランドはどのように紹介されていますか?
代理店、コンサルタント、社内チーム向け。独自のシナリオと選択した言語・モデルで得られた回答を比較できます。私たちのインフラと、皆様のシナリオ・専門知識を組み合わせてください。