Speicher umfasst alle Komponenten, die Daten für KI-Modelle vorhalten – vom HBM der GPU bis zum Datastore im Backend.
Speicher stellt Parameter, Aktivierungen und Zwischenergebnisse bereit. In Hardwarekontexten unterscheidet man Register, Caches, Hauptspeicher oder VRAM. Auf Anwendungsebene zählen auch Vektorindizes, Session Stores oder Feature Stores dazu. Engpässe im Speicher führen zu kleineren Batchgrößen, höherer Latenz oder erhöhten Kosten.
Best Practices
- Speicherprofiling: Analyse, welche Layer oder Tensoren die größten Footprints besitzen.
- Offloading: Parameter, KV-Caches oder Embeddings können auf langsamere Speicher ausgelagert werden.
- Persistenz: Versionierte Speicherhaltung gewährleistet Reproduzierbarkeit und Audits.