EN
FR
ES
DE
IT
KO
Un token est l'unité de base traitée par un LLM : un mot, une partie de mot, un caractère ou un symbole. "Optimisation" peut être découpé en "Optim" + "isation" (2 tokens). Les LLM ont des limites de contexte exprimées en tokens (128K tokens pour GPT-4o). Comprendre les tokens aide à structurer ses contenus pour qu'ils soient traités efficacement par les IA.
Comment fonctionne la tokenisation
Mots courants = 1 token : "Le", "est", "pour", "the", "and".
Mots longs = plusieurs tokens : "Anticonstitutionnellement" : découpé en plusieurs morceaux.
Règle approximative : 1 token ≈ 4 caractères ou ≈ 0.75 mot en anglais.
Limites de contexte
| Modèle | Contexte |
|---|---|
| GPT-3.5 | 4K - 16K |
| GPT-4o | 128K |
| Claude 3.5 Sonnet | 200K |
| Gemini 1.5 | 1M |
Tokens et visibilité AEO
Le RAG extrait des passages limités en tokens. Des contenus structurés avec des blocs autonomes facilitent l'extraction de passages pertinents.
답변에 귀사의 이름이 없는 ChatGPT에 대한 모든 질문은 귀사 대신 추천되는 경쟁사입니다 — 6,820개의 실제 AI 답변에서 측정되었습니다.