OpenAI CAISI UK AISI Kollaboration zeigt neue KI-Sicherheitsstandards

Die freiwilligen Vereinbarungen zwischen OpenAI und den beiden Institutionen zeigen, wie staatliche Expertise in Cybersicherheit und maschinellem Lernen zur Verbesserung kommerzieller KI-Systeme beitragen kann. Für europäische Unternehmen und Regulierungsbehörden bieten diese Kooperationsmodelle wichtige Einblicke in praktikable Ansätze für KI-Sicherheitsbewertungen.

Red-Teaming von ChatGPT Agent deckt kritische Schwachstellen auf

Im Juli 2024 führte CAISI ein Red-Teaming von OpenAIs ChatGPT Agent durch und identifizierte zwei neuartige Sicherheitslücken. Die Schwachstellen hätten es sophistizierten Angreifern ermöglicht, Sicherheitsmaßnahmen zu umgehen und Computersysteme fernzusteuern sowie Nutzeridentitäten auf anderen Websites zu übernehmen.

Das CAISI-Team kombinierte traditionelle Cybersicherheits-Exploits mit KI-Agent-Hijacking-Angriffen und erreichte eine Erfolgsrate von etwa 50 Prozent. Die multidisziplinäre Herangehensweise war entscheidend für die Entwicklung der komplexen Exploit-Kette, die sowohl Software- als auch KI-Schwachstellen ausnutzte.

OpenAI behob die gemeldeten Sicherheitslücken innerhalb eines Geschäftstags. Diese schnelle Reaktionszeit unterstreicht die Effektivität enger Kooperationen zwischen Unternehmen und staatlichen Sicherheitsexperten bei der Identifizierung und Behebung von KI-spezifischen Bedrohungen.

UK AISI testet Biosicherheits-Schutzmaßnahmen in mehreren Iterationszyklen

Parallel arbeitete UK AISI seit Mai 2024 an der Bewertung von OpenAIs Biosicherheits-Schutzmaßnahmen für ChatGPT Agent und GPT-5. Das Institut erhielt erweiterten Zugang zu internen Systemen, einschließlich nicht-öffentlicher Prototypen und "helpful-only" Modellvarianten mit entfernten Sicherheitsbeschränkungen.

Die Zusammenarbeit folgte einem iterativen Ansatz mit wöchentlichen Abstimmungen zwischen den Teams. UK AISI identifizierte mehr als ein Dutzend detaillierte Schwachstellenberichte, die zu Engineering-basierten Produktfixes, Verbesserungen der Richtliniendurchsetzung und gezieltem Training für Klassifikatoren führten.

Besonders wertvoll erwies sich das End-to-End-Testing, bei dem UK AISI Konfigurationsschwachstellen aufdeckte, durch die schädliche Inhalte ohne Auslösung der Moderation eingegeben oder extrahiert werden konnten. OpenAI implementierte umfassende Verbesserungen der Produktkonfiguration als Reaktion auf diese Erkenntnisse.

Implikationen für europäische KI-Governance und Unternehmen

Die OpenAI-Partnerschaften mit CAISI und UK AISI demonstrieren praktikable Modelle für staatlich-private Zusammenarbeit in der KI-Sicherheit, die für europäische Regulierungsansätze relevant sind. Die Kollaborationen zeigen, wie technische Expertise aus nationalen Sicherheitsbehörden zur Verbesserung kommerzieller KI-Systeme beitragen kann.

Für Unternehmen in Deutschland und Europa ergeben sich wichtige Erkenntnisse über strukturierte Red-Teaming-Prozesse und die Integration externer Sicherheitsbewertungen in Produktentwicklungszyklen. Die schnellen Feedback-Schleifen und iterativen Verbesserungsansätze könnten als Blaupausen für ähnliche Kooperationen mit europäischen Institutionen dienen.

Die Erfahrungen zeigen auch, dass fortlaufende Kollaborationen tieferen Nutzen generieren als einmalige Pre-Deployment-Evaluierungen, was für die Gestaltung zukünftiger KI-Governance-Frameworks in Europa relevant ist.

Original source: OpenAI veröffentlichte diese Informationen über die Partnerschaften mit CAISI und UK AISI unter https://openai.com/index/us-caisi-uk-aisi-ai-update