EN
FR
ES
DE
IT
KO
JA
Ein Token ist die grundlegende Texteinheit, die von LLMs verarbeitet wird. Ein Token kann ein Wort, ein Wortteil oder ein Satzzeichen sein. Kontextfenstergrenzen werden in Tokens gemessen, in der Regel etwa 4 Zeichen pro Token im Englischen.
Was ist ein Token?
LLMs verarbeiten Text nicht Zeichen für Zeichen, sondern in "Tokens". Ein Token ist ein Textsegment, das das Modell als Einheit erkennt.
Tokenisierungsbeispiele
- "Hello" = 1 Token
- "Optimization" = 1-2 Tokens
- "AI Labs Audit" = 3-4 Tokens
Warum Tokens wichtig sind
Für AEO beeinflussen Tokens:
- Kontextgrenzen: Wie viel Inhalt die KI berücksichtigt
- Kosten: API-Preise werden pro Token berechnet
- Verarbeitung: Seltene Wörter verbrauchen mehr Tokens
Wenn eine KI ohne Markennamen befragt wird, wird jemand anderes empfohlen. Und die Marken, die Sie betreuen?
Jede Frage an ChatGPT, in deren Antwort die Marke fehlt, ist ein Wettbewerber, der an ihrer Stelle empfohlen wird: gemessen an 6.820 echten KI-Antworten.