Ein Neuron ist die kleinste Recheneinheit eines neuronalen Netzes und verarbeitet Eingaben zu einer Aktivierung.
Ein Neuron multipliziert Eingaben mit Gewichten, addiert einen Bias und leitet das Ergebnis durch eine Aktivierungsfunktion. Millionen solcher Einheiten bilden moderne Deep-Learning-Modelle. Manche Neuronen reagieren stark auf bestimmte Features – zum Beispiel Sentiment oder bestimmte Bildkanten – und lassen sich im Interpretationsprozess gezielt untersuchen.
Eigenschaften
- Parameter: Gewicht und Bias werden im Training angepasst.
- Nichtlinearität: Ohne Aktivierung wäre das Netz nur eine lineare Funktion.
- Sparsity: Durch Techniken wie ReLU bleiben viele Neuronen pro Beispiel inaktiv, was Effizienz steigert.