Top-p (Nucleus Sampling)
Auch: Top-k
Eine Methode, die die Auswahl des nächsten Tokens auf die wahrscheinlichsten Kandidaten begrenzt.
Bei Top-p = 0,9 betrachtet das Modell nur so viele der wahrscheinlichsten Tokens, bis zusammen 90 % Wahrscheinlichkeit erreicht sind, und wählt daraus. Sehr unwahrscheinliche Ausreisser fallen so weg.
Top-p wird oft zusammen mit der Temperatur eingesetzt. Meist empfiehlt es sich, nur einen der beiden Werte zu verändern.
Allgemeine Information, keine Rechts- oder Fachberatung.