Benchmark
Auch: Benchmarks · Evaluation · Evals
Ein standardisierter Test, mit dem sich die Leistung verschiedener KI-Modelle vergleichen lässt.
Benchmarks bestehen aus festen Aufgabensammlungen – etwa Wissensfragen, Mathematik, Programmieren oder logisches Denken. Die Ergebnisse helfen, Fortschritte zu messen und Modelle einzuordnen.
Sie haben aber Grenzen: Modelle können auf bekannte Tests hin optimiert sein, und gute Werte garantieren keine gute Leistung im eigenen Anwendungsfall. Für Unternehmen sind eigene Tests mit realen Aufgaben („Evals“) deshalb wichtig.
Allgemeine Information, keine Rechts- oder Fachberatung.