EN
FR
ES
DE
IT
KO
JA
robots.txt 파일은 웹사이트 루트에 위치한 텍스트 파일로, 크롤링 로봇(크롤러)이 어떤 페이지를 탐색할 수 있고 어떤 페이지를 탐색할 수 없는지 알려 주며, 이제는 AI 크롤러도 포함합니다.
robots.txt 파일이란?
robots.txt 파일은 웹사이트 루트(example.com/robots.txt)에 위치한 표준 텍스트 파일로, 크롤링 로봇(크롤러)에 접근 지침을 전달합니다: 사이트의 어떤 부분을 탐색하고 어떤 부분을 무시할지. Googlebot, GPTBot 및 기타 크롤러가 사이트를 탐색하기 전에 가장 먼저 확인하는 것이 바로 이 파일입니다.
robots.txt와 AI 크롤러
AI의 부상과 함께 새로운 크롤러가 등장했습니다:
- GPTBot: ChatGPT 학습을 위한 OpenAI의 크롤러
- ClaudeBot: Claude 학습을 위한 Anthropic의 크롤러
- PerplexityBot: Perplexity AI의 크롤러
- Google-Extended: Gemini를 위한 Google의 크롤러
- Bytespider: ByteDance의 크롤러(TikTok)
AI 가시성을 위한 권장 설정
AI 가시성을 극대화하려면 robots.txt에서 AI 크롤러를 허용해야 합니다:
# AI 크롤러 허용
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
# 사이트맵
Sitemap: https://example.com/sitemap.xml흔한 실수
- 모든 봇 차단: "User-agent: * / Disallow: /"도 AI 크롤러를 차단합니다
- AI 크롤러 누락: GPTBot이 차단되면 ChatGPT가 콘텐츠를 색인화할 수 없습니다
- robots.txt 없음: 크롤러가 우선순위 없이 모든 것을 탐색합니다
robots.txt와 AI Labs Audit
AI Labs Audit의 GEO Score는 robots.txt 파일을 자동으로 확인하고 중요한 AI 크롤러가 차단된 경우 알려 드립니다.
고객이 브랜드명 없이 AI에 물으면 다른 곳이 추천됩니다. 담당 브랜드는 어떤가요?
ChatGPT에 대한 질문에서 답변에 브랜드가 언급되지 않을 때마다, 그 자리에는 경쟁사가 추천됩니다: 6,820개의 실제 AI 답변으로 측정된 결과입니다.