Die Kreuzentropie misst den Unterschied zwischen zwei Wahrscheinlichkeitsverteilungen und dient als Loss-Funktion in Klassifikationsaufgaben.
Kreuzentropie bewertet, wie gut die vorhergesagte Wahrscheinlichkeitsverteilung eines Modells mit der tatsächlichen Verteilung übereinstimmt. In der Praxis vergleicht sie die Softmax-Ausgabe eines Klassifikators mit dem One-Hot-Label. Je höher der Unterschied, desto größer der Verlust und desto stärker wird das Modell angepasst.
Warum relevant
- Stabile Gradienten: Sie liefert glatte Loss-Landschaften für optimales Training.
- Interpretierbare Werte: Niedrige Kreuzentropie korreliert mit hoher Modellkonfidenz.
- Varianten: Binary Cross-Entropy, Categorical Cross-Entropy oder Label Smoothing adressieren unterschiedliche Szenarien.
