EN
FR
ES
DE
IT
KO
JA
User-Agentは、各Webリクエストの際にブラウザまたはロボットによって送信されるHTTPヘッダーで、リクエストを実行するソフトウェア(ブラウザ、検索エンジンボット、AIクローラーなど)を識別します。
User-Agentとは?
User-Agentは、各WebリクエストのHTTPヘッダーで送信される文字列です。リクエストを実行するソフトウェアを識別します。
AIボットのUser-Agent
AIトラッキングの文脈において、User-AgentはAIエンジンのロボットを識別するために不可欠です:
GPTBot/1.0— OpenAI (ChatGPT)ClaudeBot/1.0— Anthropic (Claude)PerplexityBot/1.0— Perplexity AIGoogle-Extended— Google (Gemini)CCBot/2.0— Common Crawl (多数のLLMで使用)Bytespider— ByteDance
robots.txtにおける役割
robots.txtファイルは、User-Agentを使用してボットのアクセスを許可またはブロックします:
User-agent: GPTBot
Disallow: /private/
User-agent: ClaudeBot
Allow: /なぜ重要なのか?
User-Agentの分析により、どのAIボットがサイトを訪問しているか、頻度、閲覧しているページを正確に把握できます。これはAIトラッキングの基盤です。
顧客がブランド名を挙げずにAIに尋ねると、別の誰かが推薦されます。運用中のブランドはどうでしょう？
ChatGPTへの質問で回答にブランド名が挙がらなければ、その分だけ競合が代わりに推奨されます,, 実際のAI回答6,820件で測定。