User-Agent는 브라우저나 봇이 모든 웹 요청과 함께 보내낐 HTTP 헤더로, 요청을 보내낐 소프트웨어(브라우저, 검색 엔진 봇, AI 크롤러 등)를 식별합니다.

User-Agent란?

User-Agent는 모든 웹 요청의 HTTP 헤더에 포함되어 전송되는 문자열입니다. 요청을 보내낐 소프트웨어를 식별합니다.

AI 봇 User-Agent

AI 트래킹의 맥락에서 User-Agent는 AI 엔진 크롤러를 식별하는 데 필수적입니다:

  • GPTBot/1.0 — OpenAI (ChatGPT)
  • ClaudeBot/1.0 — Anthropic (Claude)
  • PerplexityBot/1.0 — Perplexity AI
  • Google-Extended — Google (Gemini)

robots.txt에서의 역할

robots.txt 파일은 User-Agent를 사용하여 봇의 접근을 허용하거나 차단합니다.

고객이 브랜드명 없이 AI에 물으면 다른 곳이 추천됩니다. 담당 브랜드는 어떤가요?

ChatGPT에 대한 질문에서 답변에 브랜드가 언급되지 않을 때마다, 그 자리에는 경쟁사가 추천됩니다: 6,820개의 실제 AI 답변으로 측정된 결과입니다.