Ein Feedforward-Netzwerk leitet Signale schichtweise nach vorne: Jede Ebene empfängt die Ausgaben der vorherigen, berechnet Aktivierungen und reicht diese weiter. Es gibt keine Schleifen oder rekurrenten Verbindungen. Transformer oder Multilayer-Perceptrons nutzen Feedforward-Blöcke, um nichtlineare Transformationen anzuwenden und komplexe Funktionen zu approximieren.
Eigenschaften
- Deterministischer Pfad: Daten fließen genau einmal durch das Netzwerk.
- Batch-Fähig: Ideal für parallele Berechnungen auf GPUs.
- Kombination: In modernen Architekturen werden Feedforward-Blöcke mit Attention, Normalisierung und Residuals kombiniert.
