Robots.txt

Robots.txt 파일이란 무엇인가요?

robots.txt 파일은 웹사이트 루트(example.com/robots.txt)에 위치한 표준 텍스트 파일로, 크롤러에게 접근 지침, 즉 사이트의 어떤 부분을 탐색하고 어떤 부분을 무시해야 하는지를 전달합니다. 이는 Googlebot, GPTBot 및 기타 크롤러가 사이트를 탐색하기 전에 가장 먼저 확인하는 파일입니다.

Robots.txt와 AI 크롤러

AI의 부상과 함께 새로운 크롤러들이 등장했습니다.

• GPTBot : ChatGPT에 데이터를 제공하는 OpenAI의 크롤러입니다
• ClaudeBot : Claude에 데이터를 제공하는 Anthropic의 크롤러입니다
• PerplexityBot : Perplexity AI의 크롤러입니다
• Google-Extended : Gemini를 위한 Google의 크롤러입니다
• Bytespider : ByteDance(TikTok)의 크롤러입니다

AI 가시성을 위한 권장 설정

AI에서의 가시성을 극대화하려면 robots.txt에서 AI 크롤러를 허용해야 합니다.

# AI 크롤러 허용
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Sitemap
Sitemap: https://example.com/sitemap.xml

흔한 실수

• 모든 봇 차단 : "User-agent: * / Disallow: /"는 AI 크롤러도 함께 차단합니다
• AI 크롤러를 잊는 것 : GPTBot이 차단되면 ChatGPT는 콘텐츠를 색인할 수 없습니다
• robots.txt가 없는 경우 : 크롤러가 우선순위 없이 모든 것을 탐색합니다

Robots.txt와 AI Labs Audit

AI Labs Audit의 GEO 점수는 robots.txt 파일을 자동으로 확인하며, 중요한 AI 크롤러가 차단된 경우 알려드립니다.