User-Agent는 브라우저나 봇이 모든 웹 요청과 함께 보내낐 HTTP 헤더로, 요청을 보내낐 소프트웨어(브라우저, 검색 엔진 봇, AI 크롤러 등)를 식별합니다.
User-Agent란?
User-Agent는 모든 웹 요청의 HTTP 헤더에 포함되어 전송되는 문자열입니다. 요청을 보내낐 소프트웨어를 식별합니다.
AI 봇 User-Agent
AI 트래킹의 맥락에서 User-Agent는 AI 엔진 크롤러를 식별하는 데 필수적입니다:
GPTBot/1.0— OpenAI (ChatGPT)ClaudeBot/1.0— Anthropic (Claude)PerplexityBot/1.0— Perplexity AIGoogle-Extended— Google (Gemini)
robots.txt에서의 역할
robots.txt 파일은 User-Agent를 사용하여 봇의 접근을 허용하거나 차단합니다.
AI 답변에서 담당 브랜드는 어떻게 소개되나요?
에이전시, 컨설턴트, 사내 팀을 위한 인프라입니다. 직접 만든 시나리오와 선택한 언어 및 모델로 얻은 답변을 비교하세요. 여러분의 시나리오와 전문성을 지원합니다.