EN
FR
ES
DE
IT
KO
JA
トークンとは、LLMが処理する基本単位であり、単語、単語の一部、文字、または記号を指します。例えば「Optimisation」は「Optim」+「isation」(2トークン)に分割されます。LLMにはトークン数で表現されるコンテキスト制限があります(GPT-4oは128Kトークン)。トークンを理解することで、AIが効率的に処理できるようコンテンツを構造化できます。
トークン化の仕組み
一般的な単語 = 1トークン:「The」「and」「is」「for」など。
長い単語 = 複数トークン:「Anticonstitutionnellement」は複数の部分に分割されます。
おおよその目安:1トークン ≈ 4文字、または英語で ≈ 0.75単語。
コンテキスト制限
| モデル | コンテキスト |
|---|---|
| GPT-3.5 | 4K - 16K |
| GPT-4o | 128K |
| Claude 3.5 Sonnet | 200K |
| Gemini 1.5 | 1M |
トークンとAEO可視性
RAGはトークン数に制限された文章を抽出します。自己完結したブロックで構造化されたコンテンツは、関連性の高い文章の抽出を容易にします。
顧客がブランド名を挙げずにAIに尋ねると、別の誰かが推薦されます。運用中のブランドはどうでしょう？
ChatGPTへの質問で回答にブランド名が挙がらなければ、その分だけ競合が代わりに推奨されます,, 実際のAI回答6,820件で測定。