VRAM ist der dedizierte Speicher einer GPU und speichert Gewichte, Aktivierungen und Texturen.
VRAM stellt den Arbeitsspeicher von GPUs dar. Für KI bestimmt er, wie große Modelle oder Batchgrößen geladen werden können. Training speichert zusätzlich Gradienten und Optimizer-States, weshalb VRAM schnell zum limitierenden Faktor wird. Techniken wie Gradient-Checkpointing, ZeRO oder Offloading helfen, VRAM effizienter zu nutzen.
Tipps
- Profiling: Tools wie
nvidia-smioder PyTorch Profiler zeigen den aktuellen Verbrauch. - Quantisierung: Niedrigere Präzision spart Memory.
- Sharding: Parameter lassen sich über mehrere GPUs verteilen.
