AI 봇 시그니처

왜 별도의 레지스트리가 필요한가요?

AI 봇은 빠르게 진화합니다: 신규 진입자(Mistral-AI-User, ByteDance-Sora), 이름 변경(Anthropic-AI → ClaudeBot → Claude-Web → Claude-SearchBot), 동작 변화(학습 대 검색 모드) 등. 최신 레지스트리가 없으면 robots.txt와 WAF는 올바른 봇을 차단하거나 실제로 콘텐츠를 소비하는 봇을 무시할 위험이 있습니다.

AI Labs Audit 레지스트리의 내용

각 시그니처에 대해 다음을 추적합니다:

• 퍼블리셔(OpenAI, Anthropic, Google, Microsoft, Perplexity, xAI, ByteDance, Common Crawl…);
• 역할(학습, 검색, 에이전트, 브라우징) — 단일 퍼블리셔가 서로 다른 역할을 가진 여러 봇을 운영할 수 있습니다;
• 매칭할 사용자 에이전트 패턴;
• 공식 IP 범위(공개된 경우);
• robots.txt 권장 사항(허용 / 차단 / 상황별);
• 봇이 차단될 경우 AI 가시성에 미치는 영향.

현재 총 256개의 시그니처가 레지스트리에 활성 상태입니다.

추적 측면의 활용

AI Labs Audit의 오픈소스 트래커는 이 레지스트리를 사용하여 사이트에서 수신된 모든 히트를 분류합니다. 다음을 확인할 수 있습니다: 가장 활동적인 봇, 봇별 가장 많이 크롤링된 URL, 감사 간 크롤 ↔ 인용 상관 관계, 의심스러운 급증 또는 누락된 봇에 대한 알림.

GEO 감사 측면의 활용

감사의 GEO 점수는 AI 검색 봇(PerplexityBot, OAI-SearchBot, Claude-SearchBot)을 차단하는 사이트를 감점합니다. 이 봇들은 웹 보강 AI 답변에 노출되는 데 필수적이기 때문입니다. 반면 학습 봇(GPTBot 학습, Google-Extended 학습)을 차단하는 것은 중립적이며, 콘텐츠를 보호하려는 브랜드에게는 오히려 긍정적으로 평가됩니다.