IA Tecnica

Context Window (finestra di contesto)

La finestra di contesto (context window) è la quantità massima di testo (misurata in token) che un modello linguistico può elaborare in una sola volta, includendo sia l'input che l'output.

Cos'è la finestra di contesto?

La finestra di contesto rappresenta la quantità massima di informazioni che un modello linguistico può "vedere" ed elaborare in una singola interazione. È misurata in token (circa 4 caratteri per token in inglese). Tutto ciò che supera questo limite è semplicemente invisibile al modello.

Dimensioni attuali delle finestre di contesto

  • GPT-4o: 128,000 token (~96,000 parole)
  • Claude 3.5 Sonnet: 200,000 token (~150,000 parole)
  • Gemini 1.5 Pro: 1,000,000 token (~750,000 parole)

Impatto sulle prestazioni

  • Conversazioni lunghe: i messaggi precedenti "escono" gradualmente dalla finestra
  • Analisi di documenti: documenti di grandi dimensioni potrebbero non entrare interamente
  • Costo: più la finestra di contesto è riempita, più alto è il costo per richiesta

Finestra di contesto e AILabsAudit

Quando si utilizza AILabsAudit tramite MCP con un assistente IA, la dimensione della finestra di contesto determina quanti dati dell'audit possono essere analizzati simultaneamente. I modelli con finestre ampie (Claude, Gemini) consentono di analizzare interi portafogli di clienti in una singola conversazione.

Come compaiono i vostri marchi nelle risposte delle IA?

Agenzie, consulenti e team interni: confrontate le risposte ai vostri scenari, nelle lingue e con i modelli selezionati. La nostra infrastruttura, i vostri scenari, la vostra esperienza.