Ein Token ist die grundlegende Texteinheit, die von LLMs verarbeitet wird. Ein Token kann ein Wort, ein Wortteil oder ein Satzzeichen sein. Kontextfenstergrenzen werden in Tokens gemessen, in der Regel etwa 4 Zeichen pro Token im Englischen.
Was ist ein Token?
LLMs verarbeiten Text nicht Zeichen für Zeichen, sondern in "Tokens". Ein Token ist ein Textsegment, das das Modell als Einheit erkennt.
Tokenisierungsbeispiele
- "Hello" = 1 Token
- "Optimization" = 1-2 Tokens
- "AI Labs Audit" = 3-4 Tokens
Warum Tokens wichtig sind
Für AEO beeinflussen Tokens:
- Kontextgrenzen: Wie viel Inhalt die KI berücksichtigt
- Kosten: API-Preise werden pro Token berechnet
- Verarbeitung: Seltene Wörter verbrauchen mehr Tokens