Inferenz
Auch: Inference
Die Nutzung eines fertig trainierten Modells, um auf eine neue Eingabe eine Ausgabe zu berechnen.
Jedes Mal, wenn Sie einem Chat-Assistenten eine Frage stellen, findet Inferenz statt: Das Modell berechnet aus Ihrer Eingabe eine Antwort. Das Modell lernt dabei nichts dazu – das geschieht nur im Training.
Inferenz braucht Rechenleistung, meist auf GPUs. Kosten und Antwortzeit hängen von Modellgrösse, Länge von Eingabe und Ausgabe sowie der Hardware ab.
Allgemeine Information, keine Rechts- oder Fachberatung.