EN
FR
ES
DE
IT
KO
JA
토큰은 LLM이 처리하는 기본 텍스트 단위입니다. 토큰은 단어, 단어의 일부 또는 구두점이 될 수 있습니다. 컨텍스트 윈도우 한계는 토큰으로 측정되며, 영어의 경우 일반적으로 토큰당 약 4자입니다.
토큰이란?
LLM은 텍스트를 문자 단위로 처리하지 않고 '토큰' 단위로 처리합니다. 토큰은 모델이 하나의 단위로 인식하는 텍스트 조각입니다.
토큰화 예시
- "Hello" = 1개 토큰
- "Optimization" = 1-2개 토큰
- "AI Labs Audit" = 3-4개 토큰
토큰이 중요한 이유
AEO에서 토큰은 다음에 영향을 미칩니다.
- 컨텍스트 한계: AI가 고려하는 콘텐츠의 양
- 비용: API 가격은 토큰당 책정
- 처리: 드문 단어는 더 많은 토큰을 사용
고객이 브랜드명 없이 AI에 물으면 다른 곳이 추천됩니다. 담당 브랜드는 어떤가요?
ChatGPT에 대한 질문에서 답변에 브랜드가 언급되지 않을 때마다, 그 자리에는 경쟁사가 추천됩니다: 6,820개의 실제 AI 답변으로 측정된 결과입니다.