Destillation
Auch: Knowledge Distillation · Wissensdestillation
Ein kleines „Schüler“-Modell lernt, die Antworten eines grossen „Lehrer“-Modells nachzuahmen.
Bei der Wissensdestillation erzeugt ein leistungsstarkes Modell viele Antworten, mit denen ein kleineres Modell trainiert wird. Der Schüler übernimmt so einen Teil der Fähigkeiten, ist aber schneller und günstiger im Betrieb.
Viele kompakte Modelle, die auf Laptops oder Smartphones laufen, entstehen auf diese Weise. Anbieter regeln in ihren Nutzungsbedingungen oft, ob ihre Modelle als Lehrer verwendet werden dürfen.
Allgemeine Information, keine Rechts- oder Fachberatung.