LoRA (Low-Rank Adaptation)
Auch: PEFT
Eine sparsame Fine-Tuning-Methode, die nur kleine Zusatzmatrizen trainiert statt des ganzen Modells.
LoRA friert das grosse Modell ein und ergänzt es um wenige zusätzliche, trainierbare Parameter. Das reduziert Speicherbedarf und Rechenaufwand drastisch; die Ergebnisse kommen oft nahe an ein vollständiges Fine-Tuning heran.
Besonders bekannt sind LoRAs bei Bildmodellen: Mit ihnen lässt sich einem Modell ein bestimmter Stil, ein Produkt oder eine Figur beibringen. Die kleinen LoRA-Dateien lassen sich einfach austauschen und kombinieren.
Allgemeine Information, keine Rechts- oder Fachberatung.