Bei der Quantisierung werden Gewichte und Aktivierungen von Float32 auf Float16, INT8 oder noch niedrigere Formate projiziert. Moderne Techniken erhalten die Modellqualität durch Skalenfaktoren, Per-Channel-Statistiken oder Nachkalibrierung. So lassen sich große Sprachmodelle auf kleinere GPUs oder Edge-Geräte bringen.
Varianten
- Post-Training-Quantization: Nachträgliche Umwandlung mit Kalibrier-Daten.
- Quantization-Aware-Training: Modell lernt bereits während des Trainings mit reduzierter Präzision.
- Hybrid: Kritische Layer bleiben in höherer Präzision, andere werden aggressiv quantisiert.
