Quantisierung
Auch: Quantization
Die Speicherung von Modellgewichten mit weniger Genauigkeit, damit Modelle kleiner und schneller werden.
Statt jedes Gewicht mit 16 oder 32 Bit zu speichern, verwendet man zum Beispiel nur 8 oder 4 Bit. Das Modell braucht dadurch nur einen Bruchteil des Speichers und läuft auch auf schwächerer Hardware.
Der Preis ist ein meist geringer Qualitätsverlust. Quantisierung ist der Grund, warum heute brauchbare Sprachmodelle auf normalen Laptops laufen können.
Allgemeine Information, keine Rechts- oder Fachberatung.