User-Agent (사용자 에이전트)

User-Agent란 무엇입니까?

User-Agent는 모든 웹 요청의 HTTP 헤더에 전송되는 문자열입니다. 이는 요청을 수행하는 소프트웨어를 식별합니다.

AI 봇의 User-Agent

AI 트래킹의 맥락에서, User-Agent는 AI 엔진의 로봇을 식별하는 데 필수적입니다.

• GPTBot/1.0 — OpenAI (ChatGPT)
• ClaudeBot/1.0 — Anthropic (Claude)
• PerplexityBot/1.0 — Perplexity AI
• Google-Extended — Google (Gemini)
• CCBot/2.0 — Common Crawl (다수의 LLM이 사용)
• Bytespider — ByteDance

robots.txt에서의 역할

robots.txt 파일은 User-Agent를 사용해 봇의 접근을 허용하거나 차단합니다.

User-agent: GPTBot
Disallow: /private/

User-agent: ClaudeBot
Allow: /

왜 중요합니까?

User-Agent 분석을 통해 어떤 AI 봇이 자사 사이트를 방문하는지, 얼마나 자주 방문하는지, 어떤 페이지를 조회하는지 정확히 파악할 수 있습니다. 이는 AI 트래킹의 기초입니다.