Eine Pipeline beschreibt eine Abfolge von Verarbeitungsschritten, die Daten oder Modelle automatisiert durchlaufen.
Eine Pipeline orchestriert, wie Daten gesammelt, bereinigt, trainiert, evaluiert und ausgerollt werden. Sie verbindet ETL-Jobs, Feature-Engineering, Modelltraining und Deployment. DevOps- und MLOps-Plattformen liefern dabei Versionierung, Monitoring und Fehlerhandling.
Vorteile
- Reproduzierbarkeit: Jeder Schritt hat definierte Inputs und Outputs.
- Automatisierung: Cronjobs oder Trigger reagieren auf neue Daten.
- Skalierung: Cloud-native Pipelines verteilen Last dynamisch und gewährleisten stabile SLAs.
