VRAM stellt den Arbeitsspeicher von GPUs dar. Für KI bestimmt er, wie große Modelle oder Batchgrößen geladen werden können. Training speichert zusätzlich Gradienten und Optimizer-States, weshalb VRAM schnell zum limitierenden Faktor wird. Techniken wie Gradient-Checkpointing, ZeRO oder Offloading helfen, VRAM effizienter zu nutzen.
Tipps
- Profiling: Tools wie
nvidia-smioder PyTorch Profiler zeigen den aktuellen Verbrauch. - Quantisierung: Niedrigere Präzision spart Memory.
- Sharding: Parameter lassen sich über mehrere GPUs verteilen.
