Eine Layer ist eine zusammenhängende Operationsebene in einem neuronalen Netz, die Eingaben transformiert und an die nächste Ebene weitergibt.
Eine Layer nimmt die Ausgaben der vorherigen Ebene, führt gewichtete Berechnungen durch und gibt die Ergebnisse nach optionalen Normalisierungen, Aktivierungen oder Dropout weiter. Kombinationen aus Embedding-, Attention-, Feedforward- und Output-Layern bestimmen Struktur und Kapazität eines Modells.
Designkriterien
- Tiefe vs. Breite: Mehr Layer erhöhen Ausdrucksstärke, bedingen aber sorgfältige Regularisierung.
- Gewichtsfreigabe: Einige Architekturen teilen Parameter zwischen Layern, um Speicher zu sparen.
- Visualisierung: Layer-Wise-Analysen zeigen, welche Ebene welche Features lernt.