ReLU ist die Standardaktivierung vieler neuronaler Netze. Sie ist einfach zu berechnen, erzeugt Sparsity und verhindert das Verschwinden von Gradienten besser als sigmoidale Funktionen. Varianten wie Leaky ReLU oder GELU adressieren die Schwäche, dass negative Werte komplett abgeschnitten werden.
Vorteile
- Effizient: Keine aufwendigen Exponentialfunktionen notwendig.
- Schnelles Training: Gradienten sind stabil, Netze konvergieren schneller.
- Breiter Einsatz: Von CNNs bis Transformers in nahezu allen modernen Architekturen.
