Ein Decoder nimmt latente Repräsentationen – etwa aus einem Encoder oder aus früheren Tokens – und generiert daraus Text, Audio oder Bilder. In Transformer-basierten Sprachmodellen wird jedes nächste Token mithilfe von Self-Attention, Maskierung und Softmax-Verteilung berechnet. Decoder-only-Modelle wie GPT bestehen nur aus diesem Baustein, während Encoder-Decoder-Architekturen (z. B. T5) beide Richtungen kombinieren.
Eigenschaften
- Autoregressiv: Der Decoder berücksichtigt alle bisherigen Ausgaben.
- Kontrolliert: Temperatur, Top-p oder Logit-Bias beeinflussen den Stil.
- Anpassbar: Fine-Tuning oder LoRA-Layer verändern die Generierung für spezifische Aufgaben.
