Beim Training durchläuft ein Modell wiederholt Datensätze, berechnet Vorhersagen, vergleicht sie mit Zielwerten und passt seine Parameter per Optimierer an. Dieser iterative Prozess kann Stunden bis Wochen dauern und erfordert leistungsfähige Hardware, saubere Daten sowie Monitoring.
Phasen
- Pretraining: Allgemeines Weltwissen und Sprachverständnis.
- Finetuning: Anpassung auf domänenspezifische Aufgaben oder Richtlinien.
- Alignment & Eval: Sicherheitsprüfungen, RLHF und Benchmarks schließen den Zyklus ab.
