LoRA ermöglicht leichtgewichtiges Finetuning großer Modelle, indem nur kleine Low-Rank-Matrizen trainiert werden.
LoRA friert die Originalgewichte eines Modells ein und fügt pro Layer zwei kompakte Matrizen hinzu, die die Gewichtsänderung approximieren. Dadurch lassen sich spezialisierte Varianten trainieren, ohne das komplette Modell anpassen oder speichern zu müssen.
Vorteile
- Schnell: Weniger Parameter bedeuten kürzere Trainingszeiten.
- Kosteneffizient: Passt auf einzelne GPUs oder sogar Consumer-Hardware.
- Modular: Unterschiedliche LoRA-Adapter können je nach Use Case geladen oder gemischt werden.