Ein Token ist die grundlegende Texteinheit, die von LLMs verarbeitet wird. Ein Token kann ein Wort, ein Wortteil oder ein Satzzeichen sein. Kontextfenstergrenzen werden in Tokens gemessen, in der Regel etwa 4 Zeichen pro Token im Englischen.

Was ist ein Token?

LLMs verarbeiten Text nicht Zeichen für Zeichen, sondern in "Tokens". Ein Token ist ein Textsegment, das das Modell als Einheit erkennt.

Tokenisierungsbeispiele

  • "Hello" = 1 Token
  • "Optimization" = 1-2 Tokens
  • "AI Labs Audit" = 3-4 Tokens

Warum Tokens wichtig sind

Für AEO beeinflussen Tokens:

  • Kontextgrenzen: Wie viel Inhalt die KI berücksichtigt
  • Kosten: API-Preise werden pro Token berechnet
  • Verarbeitung: Seltene Wörter verbrauchen mehr Tokens
Wie erscheinen Ihre Marken in KI-Antworten?

Agenturen, Berater und interne Teams: Vergleichen Sie Antworten auf Ihre eigenen Szenarien in den gewählten Sprachen und Modellen. Unsere Infrastruktur, Ihre Szenarien, Ihre Expertise.