Entropie misst die Unsicherheit oder den Informationsgehalt einer Wahrscheinlichkeitsverteilung.
Die Entropie quantifiziert, wie unvorhersehbar ein Zufallsprozess ist. In der Informations- und KI-Theorie beschreibt sie, wie viel Information nötig ist, um ein Ereignis zu kodieren. Hohe Entropie bedeutet, dass eine Verteilung flach ist und keine klaren Favoriten existieren – wichtig beim Sampling aus Sprachmodellen oder beim Bewerten von Klassifikatoren.
Anwendungen
- Regularisierung: Entropie-Strafen verhindern übermäßige Konfidenz.
- Decision Trees: Informationsgewinn entscheidet über Splits.
- Temperature Sampling: Über die Temperatur wird die Entropie einer Tokenverteilung erhöht oder gesenkt.
