Ein Token ist die grundlegende Texteinheit, die von LLMs verarbeitet wird. Ein Token kann ein Wort, ein Wortteil oder ein Satzzeichen sein. Kontextfenstergrenzen werden in Tokens gemessen, in der Regel etwa 4 Zeichen pro Token im Englischen.
Was ist ein Token?
LLMs verarbeiten Text nicht Zeichen für Zeichen, sondern in "Tokens". Ein Token ist ein Textsegment, das das Modell als Einheit erkennt.
Tokenisierungsbeispiele
- "Hello" = 1 Token
- "Optimization" = 1-2 Tokens
- "AI Labs Audit" = 3-4 Tokens
Warum Tokens wichtig sind
Für AEO beeinflussen Tokens:
- Kontextgrenzen: Wie viel Inhalt die KI berücksichtigt
- Kosten: API-Preise werden pro Token berechnet
- Verarbeitung: Seltene Wörter verbrauchen mehr Tokens
Weiterführendes
Agenturen, Berater und interne Teams: Vergleichen Sie Antworten auf Ihre eigenen Szenarien in den gewählten Sprachen und Modellen. Unsere Infrastruktur, Ihre Szenarien, Ihre Expertise.