Next-Token-Prediction
Auch: Nächstes-Token-Vorhersage · Autoregressiv
Das Grundprinzip von Sprachmodellen: Sie berechnen Schritt für Schritt das wahrscheinlichste nächste Token.
Ein Sprachmodell erzeugt Text nicht am Stück, sondern Token für Token. Für jeden Schritt berechnet es eine Wahrscheinlichkeitsverteilung über alle möglichen nächsten Tokens, wählt eines aus und hängt es an – dann beginnt alles von vorn.
Dieses einfache Prinzip erklärt sowohl die Stärken (flüssige, passende Sprache) als auch die Schwächen (plausibel klingende Fehler) von Sprachmodellen. Parameter wie die Temperatur steuern, wie zufällig die Auswahl ist.
Allgemeine Information, keine Rechts- oder Fachberatung.