La context window (ventana de contexto) es la cantidad máxima de texto (medida en tokens) que un modelo de lenguaje puede procesar de una vez, incluyendo la entrada y la salida.
¿Qué es la context window?
La context window (ventana de contexto) representa la cantidad máxima de información que un modelo de lenguaje puede "ver" y procesar en una sola interacción. Se mide en tokens (aproximadamente 4 caracteres por token en inglés). Todo lo que supere este límite es simplemente invisible para el modelo.
Tamaños actuales de context window
- GPT-4o: 128.000 tokens (~96.000 palabras)
- Claude 3.5 Sonnet: 200.000 tokens (~150.000 palabras)
- Gemini 1.5 Pro: 1.000.000 tokens (~750.000 palabras)
Impacto en el rendimiento
- Conversaciones largas: Los primeros mensajes "salen" de la ventana con el tiempo
- Análisis de documentos: Los documentos grandes pueden no caber enteros
- Coste: Cuanto más llena está la context window, mayor es el coste por petición
Context window y AILabsAudit
Cuando usa AILabsAudit vía MCP con un asistente IA, el tamaño de la context window determina cuántos datos de auditoría pueden analizarse simultáneamente. Los modelos con ventanas grandes (Claude, Gemini) permiten analizar portfolios de clientes enteros en una sola conversación.