La finestra di contesto (context window) è la quantità massima di testo (misurata in token) che un modello linguistico può elaborare in una sola volta, includendo sia l'input che l'output.

Cos'è la finestra di contesto?

La finestra di contesto rappresenta la quantità massima di informazioni che un modello linguistico può "vedere" ed elaborare in una singola interazione. È misurata in token (circa 4 caratteri per token in inglese). Tutto ciò che supera questo limite è semplicemente invisibile al modello.

Dimensioni attuali delle finestre di contesto

  • GPT-4o: 128,000 token (~96,000 parole)
  • Claude 3.5 Sonnet: 200,000 token (~150,000 parole)
  • Gemini 1.5 Pro: 1,000,000 token (~750,000 parole)

Impatto sulle prestazioni

  • Conversazioni lunghe: i messaggi precedenti "escono" gradualmente dalla finestra
  • Analisi di documenti: documenti di grandi dimensioni potrebbero non entrare interamente
  • Costo: più la finestra di contesto è riempita, più alto è il costo per richiesta

Finestra di contesto e AILabsAudit

Quando si utilizza AILabsAudit tramite MCP con un assistente IA, la dimensione della finestra di contesto determina quanti dati dell'audit possono essere analizzati simultaneamente. I modelli con finestre ampie (Claude, Gemini) consentono di analizzare interi portafogli di clienti in una singola conversazione.

Quando un cliente interroga le IA senza nominare un brand, viene raccomandato qualcun altro. E i brand che gestisci?

Ogni domanda posta a ChatGPT senza il brand nella risposta è un concorrente raccomandato al suo posto: misurato su 6.820 risposte reali di IA.