La context window (fenêtre de contexte) est la quantité maximale de texte (mesurée en tokens) qu'un modèle de langage peut traiter en une seule fois, incluant l'entrée et la sortie.
Qu'est-ce que la context window ?
La context window (fenêtre de contexte) représente la quantité maximale d'information qu'un modèle de langage peut « voir » et traiter en une seule interaction. Elle est mesurée en tokens (environ 4 caractères par token en anglais). Tout ce qui dépasse cette limite est tout simplement invisible pour le modèle.
Tailles de context window actuelles
- GPT-4o : 128 000 tokens (~96 000 mots)
- Claude 3.5 Sonnet : 200 000 tokens (~150 000 mots)
- Gemini 1.5 Pro : 1 000 000 tokens (~750 000 mots)
Impact sur les performances
- Conversations longues : Les premiers messages « sortent » de la fenêtre au fil du temps
- Analyse de documents : Les gros documents peuvent ne pas tenir en entier
- Coût : Plus la context window est remplie, plus le coût par requête est élevé
Context window et AILabsAudit
Lorsque vous utilisez AILabsAudit via MCP avec un assistant IA, la taille de la context window détermine combien de données d'audit peuvent être analysées simultanément. Les modèles avec de grandes fenêtres (Claude, Gemini) permettent d'analyser des portefeuilles clients entiers en une seule conversation.