EN
FR
ES
DE
IT
KO
JA
Un token è l'unità di base elaborata da un LLM: una parola, una parte di parola, un carattere o un simbolo. La parola "Ottimizzazione" può essere suddivisa in "Optim" + "izzazione" (2 token). Gli LLM hanno limiti di contesto espressi in token (128K token per GPT-4o). Comprendere i token aiuta a strutturare i propri contenuti affinché vengano elaborati efficacemente dalle IA.
Come funziona la tokenizzazione
Parole comuni = 1 token: "Il", "è", "per", "the", "and".
Parole lunghe = più token: "Anticostituzionalmente": suddivisa in più parti.
Regola approssimativa: 1 token ≈ 4 caratteri, oppure ≈ 0,75 parole in inglese.
Limiti di contesto
| Modello | Contesto |
|---|---|
| GPT-3.5 | 4K - 16K |
| GPT-4o | 128K |
| Claude 3.5 Sonnet | 200K |
| Gemini 1.5 | 1M |
Token e visibilità AEO
Il RAG estrae passaggi limitati in token. Contenuti strutturati con blocchi autonomi facilitano l'estrazione di passaggi pertinenti.
Ogni domanda posta a ChatGPT senza il tuo nome nella risposta è un competitor raccomandato al posto tuo — misurato su 6.820 risposte AI reali.