컨텍스트 윈도우 (Context Window)

컨텍스트 윈도우란 무엇입니까?

컨텍스트 윈도우(Context Window)는 언어 모델이 한 번의 상호작용에서 "볼" 수 있고 처리할 수 있는 최대 정보량을 의미합니다. 이는 토큰 단위로 측정됩니다(영어 기준 약 4자당 1토큰). 이 한계를 넘어서는 내용은 모델에게 그저 보이지 않는 정보가 됩니다.

현재 컨텍스트 윈도우 크기

• GPT-4o: 128,000토큰 (약 96,000단어)
• Claude 3.5 Sonnet: 200,000토큰 (약 150,000단어)
• Gemini 1.5 Pro: 1,000,000토큰 (약 750,000단어)

성능에 미치는 영향

• 긴 대화: 시간이 지남에 따라 초반 메시지가 창 밖으로 "밀려납니다"
• 문서 분석: 용량이 큰 문서는 전체가 들어가지 않을 수 있습니다
• 비용: 컨텍스트 윈도우가 채워질수록 요청당 비용이 높아집니다

컨텍스트 윈도우와 AILabsAudit

AI 어시스턴트와 함께 MCP를 통해 AILabsAudit를 사용할 때, 컨텍스트 윈도우의 크기가 동시에 분석할 수 있는 감사 데이터의 양을 결정합니다. 큰 컨텍스트 윈도우를 가진 모델(Claude, Gemini)은 하나의 대화에서 고객 포트폴리오 전체를 분석할 수 있게 해줍니다.