토큰은 LLM이 처리하는 기본 텍스트 단위입니다. 토큰은 단어, 단어의 일부 또는 구두점이 될 수 있습니다. 컨텍스트 윈도우 한계는 토큰으로 측정되며, 영어의 경우 일반적으로 토큰당 약 4자입니다.

토큰이란?

LLM은 텍스트를 문자 단위로 처리하지 않고 '토큰' 단위로 처리합니다. 토큰은 모델이 하나의 단위로 인식하는 텍스트 조각입니다.

토큰화 예시

  • "Hello" = 1개 토큰
  • "Optimization" = 1-2개 토큰
  • "AI Labs Audit" = 3-4개 토큰

토큰이 중요한 이유

AEO에서 토큰은 다음에 영향을 미칩니다.

  • 컨텍스트 한계: AI가 고려하는 콘텐츠의 양
  • 비용: API 가격은 토큰당 책정
  • 처리: 드문 단어는 더 많은 토큰을 사용
AI 답변에서 담당 브랜드는 어떻게 소개되나요?

에이전시, 컨설턴트, 사내 팀을 위한 인프라입니다. 직접 만든 시나리오와 선택한 언어 및 모델로 얻은 답변을 비교하세요. 여러분의 시나리오와 전문성을 지원합니다.