Latenz
Auch: Latency · Antwortzeit · Time to First Token
Die Wartezeit zwischen einer Anfrage an ein KI-Modell und dem Beginn bzw. Ende der Antwort.
Bei Sprachmodellen unterscheidet man die Zeit bis zum ersten Token und die Ausgabegeschwindigkeit in Tokens pro Sekunde. Für Sprachassistenten und Echtzeitanwendungen sind kurze Latenzen entscheidend.
Latenz hängt von Modellgrösse, Länge der Eingabe, Serverauslastung, Netzwerkweg und Hardware ab. Kleinere Modelle und lokale Ausführung sind oft deutlich schneller.
Allgemeine Information, keine Rechts- oder Fachberatung.