Eine Neural Processing Unit kombiniert Matrixkerne, spezialisierte Speichercontroller und On-Chip-AI-Blöcke in einem kompakten Design. Sie steckt in Smartphones, Edge-Computern oder IoT-Geräten und führt Inferenz direkt vor Ort aus. Damit sinken Latenz, Daten müssen nicht in die Cloud wandern und Datenschutz bleibt gewahrt.
Merkmale
- Low Power: Perfekt für batteriebetriebene Geräte.
- On-Device-Learning: Einige NPUs erlauben leichtes Continual Learning.
- Integration: Oft Teil eines SoC zusammen mit CPU, GPU und ISP.
