Logits sind die rohen Ausgabewerte eines Modells vor Anwendung einer Aktivierungs- oder Normalisierungsfunktion.
Logits repräsentieren unskalierte Scores für jede mögliche Klasse oder jedes Token. Erst durch Funktionen wie Softmax oder Sigmoid werden daraus Wahrscheinlichkeiten. Beim Temperatursampling oder beim Setzen von Bias wird direkt mit Logits gearbeitet, um bestimmte Tokens zu bevorzugen oder zu unterdrücken.
Wichtig zu wissen
- Numerische Stabilität: Logit-Clipping verhindert Überläufe.
- Interpretation: Positive Logits bedeuten höhere Wahrscheinlichkeit, negative niedrigere.
- Kontrolle: API-Parameter wie
logit_biaserlauben granulare Steuerung der Ausgabe.