Token
Auch: Tokens · Tokenizer · Tokenisierung
Die kleinste Texteinheit, mit der ein Sprachmodell arbeitet – oft ein Wort oder ein Wortteil.
Bevor ein Modell Text verarbeitet, zerlegt ein Tokenizer ihn in Tokens. Häufige Wörter sind ein einzelnes Token, seltene oder lange Wörter werden in mehrere Teile gespalten. Im Englischen entspricht ein Token grob drei Vierteln eines Wortes; deutsche Texte brauchen wegen langer Komposita meist mehr Tokens.
Tokens sind die Währung von Sprachmodellen: Kontextfenster, Geschwindigkeit und API-Preise werden in Tokens gemessen – getrennt nach Eingabe- und Ausgabe-Tokens.
Allgemeine Information, keine Rechts- oder Fachberatung.