Vortraining (Pre-Training)
Auch: Pretraining
Die erste, aufwendigste Trainingsphase, in der ein Modell aus riesigen allgemeinen Datenmengen lernt.
Im Vortraining lernt ein Sprachmodell aus Billionen von Tokens – etwa Webseiten, Büchern und Code –, Text fortzusetzen. Dabei entsteht ein breites Grundwissen über Sprache und die Welt.
Ein rein vortrainiertes Modell („Base Model“) setzt Text nur fort und folgt Anweisungen schlecht. Erst das Nachtraining (Post-Training) mit Instruction-Tuning und RLHF macht daraus einen hilfreichen Assistenten.
Allgemeine Information, keine Rechts- oder Fachberatung.