OpenAI Forschung zu KI-Halluzinationen: Warum Sprachmodelle falsche Antworten generieren

Problem der aktuellen Bewertungsmethoden

Die OpenAI-Forscher identifizieren ein strukturelles Problem in der Art, wie KI-Modelle bewertet werden. Aktuelle Benchmarks messen hauptsächlich die Genauigkeit - den Prozentsatz korrekt beantworteter Fragen. Diese Methodik schafft Anreize für Modelle, zu raten, anstatt "Ich weiß es nicht" zu sagen.

Ein konkretes Beispiel aus der Studie: Wenn ein Modell nach dem Geburtstag einer Person gefragt wird und die Antwort nicht kennt, hat es bei einer Schätzung wie "10. September" eine 1-zu-365-Chance, richtig zu liegen. Ein ehrliches "Ich weiß es nicht" garantiert null Punkte in den meisten Bewertungssystemen.

Die Forscher demonstrieren dies anhand des SimpleQA-Benchmarks, wo GPT-5-Thinking-Mini eine Enthaltungsrate von 52 Prozent und eine Fehlerquote von 26 Prozent aufweist, während das ältere OpenAI o4-Mini nur 1 Prozent Enthaltungen, aber 75 Prozent Fehler produziert.

Ursprung von Halluzinationen im Next-Word-Prediction

Die Studie erklärt auch, warum Halluzinationen während des Pretrainings entstehen. Sprachmodelle lernen zunächst durch die Vorhersage des nächsten Wortes in großen Textmengen, ohne explizite "wahr/falsch"-Labels für einzelne Aussagen zu erhalten.

Während konsistente Muster wie Rechtschreibung oder passende Klammern mit zunehmender Modellgröße verschwinden, bleiben arbiträre Fakten mit niedriger Häufigkeit problematisch. Diese können nicht aus Mustern allein vorhergesagt werden und führen daher zu Halluzinationen.

Lösungsansätze für bessere KI-Bewertung

OpenAI schlägt vor, Bewertungsmethoden grundlegend zu überarbeiten. Anstatt nur Genauigkeit zu messen, sollten Systeme zuversichtliche Fehler stärker bestrafen als Unsicherheitsäußerungen und Teilpunkte für angemessene Zurückhaltung vergeben.

Die Forscher betonen, dass es nicht ausreicht, einzelne unsicherheitsbewusste Tests hinzuzufügen. Die weit verbreiteten, genauigkeitsbasierten Benchmarks müssen so aktualisiert werden, dass ihre Bewertung das Raten entmutigt.

Implikationen für KI-Entwicklung in Europa

Für europäische Unternehmen und Entwicklerteams haben diese Erkenntnisse praktische Konsequenzen. Bei der Auswahl und Bewertung von Sprachmodellen sollten Teams über reine Genauigkeitsmetriken hinausblicken und Modelle bevorzugen, die angemessen Unsicherheit ausdrücken können.

Dies ist besonders relevant für regulierte Branchen und Anwendungen, wo falsche Zuversicht gefährlicher ist als ehrliche Unwissenheit. Die OpenAI-Forschung unterstützt einen vorsichtigeren Ansatz bei der KI-Implementierung, der mit europäischen Werten der Transparenz und Verantwortlichkeit übereinstimmt.

Die Studie widerlegt auch mehrere verbreitete Annahmen: Halluzinationen sind nicht unvermeidlich, da Modelle bei Unsicherheit enthalten können. Zudem ist es für kleinere Modelle oft einfacher, ihre Grenzen zu kennen, als für größere Modelle, die partielles Wissen haben.

Original source: Die Forschungsarbeit wurde von OpenAI unter https://openai.com/index/why-language-models-hallucinate veröffentlicht.