Die tanh-Aktivierung ähnelt Sigmoid, ist jedoch symmetrisch um Null. Dadurch erhalten negative Eingaben negative Ausgaben, was das Training stabiler machen kann. In RNNs und LSTMs wird tanh häufig zum Normieren von Kandidatenzuständen eingesetzt.
Eigenschaften
- Sättigung: Bei großen Beträgen nähert sich tanh ±1, Gradienten werden klein.
- Zentrierung: Mittelwert nahe Null erleichtert Optimierung.
- Kombination: In modernen Netzen oft durch ReLU-Varianten ersetzt, aber für sequentielle Modelle weiterhin beliebt.
