Un token è l'unità testuale di base elaborata dagli LLM. Un token può essere una parola, parte di una parola o una punteggiatura. I limiti della finestra di contesto sono misurati in token, tipicamente circa 4 caratteri per token in inglese.

Cos'è un Token?

Gli LLM non elaborano il testo carattere per carattere, ma in "token". Un token è un segmento di testo che il modello riconosce come unità.

Esempi di Tokenizzazione

  • "Hello" = 1 token
  • "Optimization" = 1-2 token
  • "AI Labs Audit" = 3-4 token

Perché i Token sono Importanti

Per l'AEO, i token influenzano:

  • Limiti di contesto: quanto contenuto l'IA considera
  • Costo: la tariffazione delle API è per token
  • Elaborazione: le parole rare utilizzano più token
Come compaiono i vostri marchi nelle risposte delle IA?

Agenzie, consulenti e team interni: confrontate le risposte ai vostri scenari, nelle lingue e con i modelli selezionati. La nostra infrastruttura, i vostri scenari, la vostra esperienza.