Eine Layer nimmt die Ausgaben der vorherigen Ebene, führt gewichtete Berechnungen durch und gibt die Ergebnisse nach optionalen Normalisierungen, Aktivierungen oder Dropout weiter. Kombinationen aus Embedding-, Attention-, Feedforward- und Output-Layern bestimmen Struktur und Kapazität eines Modells.
Designkriterien
- Tiefe vs. Breite: Mehr Layer erhöhen Ausdrucksstärke, bedingen aber sorgfältige Regularisierung.
- Gewichtsfreigabe: Einige Architekturen teilen Parameter zwischen Layern, um Speicher zu sparen.
- Visualisierung: Layer-Wise-Analysen zeigen, welche Ebene welche Features lernt.
