Bandbreite beschreibt, wie viele Daten pro Sekunde ein Netzwerk, Speicherbus oder Beschleuniger übertragen kann.
Die Bandbreite entscheidet, wie schnell Daten zwischen Speicher, Netzwerken oder Chips fließen. In KI-Workloads limitiert sie oft die Performance: Selbst die schnellste GPU bringt wenig, wenn Trainingdaten nicht schnell genug nachgeladen werden. Moderne Architekturen setzen deshalb auf High-Bandwidth-Memory, PCIe-Generationen oder Infiniband-Fabrics, um Engpässe zu vermeiden.
Praxisrelevanz
- Training: Große Batchgrößen brauchen hohen Durchsatz zwischen Host und Beschleuniger.
- Inference am Edge: Begrenzte Funkbandbreiten erfordern effiziente Kompression und Vorverarbeitung.
- Cloud-Kosten: Schnellere Links verringern Job-Laufzeiten und optimieren Budgetpläne.
