Der Encoder wandelt Rohdaten in kompakte, bedeutungstragende Repräsentationen um.
Ein Encoder verarbeitet Eingaben wie Text, Bilder oder Audio und erzeugt Vektorrepräsentationen, die relevante Informationen verdichten. Encoder-Only-Modelle wie BERT liefern hochwertige Embeddings für Suchanwendungen, während Encoder-Decoder-Modelle den Encoder als ersten Schritt nutzen, bevor der Decoder Inhalte generiert.
Eigenschaften
- Kontextverständnis: Attention-Mechanismen binden globale Beziehungen ein.
- Transfer: Einmal trainierte Encoder lassen sich für neue Aufgaben feintunen.
- Effizienz: Pooling und Layer-Normalisierung sorgen für stabile Repräsentationen.