Sears KI-Chatbot Samantha offenbart massive Datenschutzprobleme bei Kundengesprächen

Umfang des Samantha-Datenlecks

Sicherheitsforscher Jeremiah Fowler von Black Hills Information Security entdeckte im Februar drei ungeschützte Datenbanken mit Chat-Logs, Audiodateien und Transkripten aus dem Jahr 2024. Die Samantha-KI, die auf der kAIros-Technologie basiert, sammelte dabei umfassende Kundendaten: Namen, Telefonnummern, Adressen, Informationen zu Haushaltsgeräten und Reparaturtermine.

Besonders problematisch sind die bis zu vier Stunden langen Audioaufnahmen, die entstanden, nachdem Kunden glaubten, das Gespräch mit der Samantha-KI beendet zu haben. Diese unbeabsichtigten Aufzeichnungen erfassten private Unterhaltungen und häusliche Aktivitäten.

KI-Chatbot-Performance und Kundenerfahrung

Die Chatbot-Logs offenbaren erhebliche Leistungsprobleme der Samantha-KI. In einem dokumentierten Fall wiederholte ein frustrierter Kunde 28-mal hintereinander "Where's my technician?" Ein anderer Kunde rief der KI zu: "You're a computer. You're a computer. You're a computer."

Die Samantha-KI versuchte oft, Kunden von menschlichen Agents fernzuhalten mit Aussagen wie "I am fully equipped to address your needs efficiently", musste dann aber wenige Minuten später selbst um Weiterleitung bitten: "I am facing some errors while assisting you."

Sicherheitsrisiken für europäische Unternehmen

Der Samantha-Vorfall zeigt kritische Schwachstellen in der KI-Kundenservice-Implementierung auf. Unter europäischen Datenschutzbestimmungen hätte ein solches Leck massive DSGVO-Strafen zur Folge. Die exponierten Daten eignen sich ideal für Phishing-Angriffe und Betrugsmaschen, da sie detaillierte Informationen über Kundenverhältnisse und Haushaltsgeräte enthalten.

Für europäische Unternehmen, die KI-Chatbots implementieren, unterstreicht der Fall die Notwendigkeit verschlüsselter Datenspeicherung, regelmäßiger Sicherheitsaudits und klarer Aufbewahrungsrichtlinien für Kundengespräche.

Ausblick für KI-Kundenservice-Sicherheit

Transformco, Sears' Muttergesellschaft, sicherte die Datenbanken nach Fowlers Meldung, antwortete jedoch nicht auf Medienanfragen. Der Samantha-Vorfall verdeutlicht, dass Unternehmen bei der KI-Integration oft die Datensicherheit vernachlässigen.

Unternehmen sollten KI-Chatbot-Systeme mit denselben Sicherheitsstandards wie kritische Geschäftsdaten behandeln und Kunden explizite Wahlmöglichkeiten bei der Datenverarbeitung bieten. Die Recherche wurde erstmals von Wired veröffentlicht.