Aktivierungen sind die berechneten Ausgangswerte eines Neurons und bestimmen, wie stark Informationen im Netzwerk weitergegeben werden.
Eine Aktivierung ist der Wert, der nach Anwendung der Aktivierungsfunktion in einem Neuron entsteht. Er legt fest, ob und mit welcher Stärke das Signal an die nächste Schicht weiterläuft. Während lineare Aktivierungen wie Identity kaum Einschränkungen erzeugen, sorgen nichtlineare Varianten wie ReLU oder GELU dafür, dass ein Netzwerk komplexe, nichtlineare Zusammenhänge modellieren kann.
Kontext
- Vor dem Aktivieren: Neuronen berechnen gewichtet Summen und addieren Bias.
- Nach dem Aktivieren: Werte werden normalisiert, begrenzt oder weich gesättigt.
- Analyse: Aktivierungsstatistiken helfen, Dead-Neurons und Vanishing-Gradients frühzeitig zu erkennen.
