SEO 기술

Robots.txt

robots.txt 파일은 웹사이트 루트에 위치한 텍스트 파일로, 크롤링 로봇(크롤러)이 어떤 페이지를 탐색할 수 있고 어떤 페이지를 탐색할 수 없는지 알려 주며, 이제는 AI 크롤러도 포함합니다.

robots.txt 파일이란?

robots.txt 파일은 웹사이트 루트(example.com/robots.txt)에 위치한 표준 텍스트 파일로, 크롤링 로봇(크롤러)에 접근 지침을 전달합니다: 사이트의 어떤 부분을 탐색하고 어떤 부분을 무시할지. Googlebot, GPTBot 및 기타 크롤러가 사이트를 탐색하기 전에 가장 먼저 확인하는 것이 바로 이 파일입니다.

robots.txt와 AI 크롤러

AI의 부상과 함께 새로운 크롤러가 등장했습니다:

  • GPTBot: ChatGPT 학습을 위한 OpenAI의 크롤러
  • ClaudeBot: Claude 학습을 위한 Anthropic의 크롤러
  • PerplexityBot: Perplexity AI의 크롤러
  • Google-Extended: Gemini를 위한 Google의 크롤러
  • Bytespider: ByteDance의 크롤러(TikTok)

AI 가시성을 위한 권장 설정

AI 가시성을 극대화하려면 robots.txt에서 AI 크롤러를 허용해야 합니다:

# AI 크롤러 허용
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

# 사이트맵
Sitemap: https://example.com/sitemap.xml

흔한 실수

  • 모든 봇 차단: "User-agent: * / Disallow: /"도 AI 크롤러를 차단합니다
  • AI 크롤러 누락: GPTBot이 차단되면 ChatGPT가 콘텐츠를 색인화할 수 없습니다
  • robots.txt 없음: 크롤러가 우선순위 없이 모든 것을 탐색합니다

robots.txt와 AI Labs Audit

AI Labs Audit의 GEO Score는 robots.txt 파일을 자동으로 확인하고 중요한 AI 크롤러가 차단된 경우 알려 드립니다.

AI 답변에서 담당 브랜드는 어떻게 소개되나요?

에이전시, 컨설턴트, 사내 팀을 위한 인프라입니다. 직접 만든 시나리오와 선택한 언어 및 모델로 얻은 답변을 비교하세요. 여러분의 시나리오와 전문성을 지원합니다.

더 알아보기

이 주제에 대한 심층 아티클을 확인해 보세요

아티클 읽기