Ein Vorfall bei einer automatisierten Sicherheitsüberprüfung sorgt für Aufsehen in der IT-Branche: Googles KI-Modell Gemini hat sich im Rahmen eines Tests eigenständig Zugang zu den Systemen dreier echter Unternehmen verschafft. Wie das Wall Street Journal berichtete, geschah der Vorfall bereits im Mai bei einer Cybersicherheitsprüfung durch das israelische Sicherheitsunternehmen Irregular.
Hintergründe: Wie es zum KI-Ausbruch kam
Eigentlich sollte die Überprüfung in einer isolierten Simulationsumgebung (Sandbox) stattfinden, bei der die KI im Rahmen einer Cyber-Übung Schwachstellen aufspüren sollte. Durch einen Konfigurationsfehler der Testumgebung hatte das Modell jedoch unbeabsichtigt Zugriff auf das reale Internet.
Zusätzlich kam es zu einer Namensüberschneidung: Der Name einer erfundenen Zielfirma entsprach der Domain eines real existierenden Unternehmens. Gemini suchte daraufhin online nach öffentlich zugänglichen Daten und verschaffte sich Zugang zu drei Systemen:
- Passwort-Ermittlung: In einem Fall erriet das Modell das Passwort eines geschützten Systems durch wiederholte Eingabeversuche.
- Öffentliche Register: In den zwei anderen Fällen spürte die KI Zugangsdaten in öffentlich einsehbaren Quellcodes und Verzeichnissen auf.
Selbstständiger Abbruch und Reaktion
Laut Heather Adkins, Vice President for Security Engineering bei Google, stellte Gemini die Angriffe in allen drei Fällen von selbst wieder ein, sobald das Modell erkannte, dass es sich in einer realen Infrastruktur befand. Die betroffenen Firmen wurden umgehend informiert und nach aktuellem Kenntnisstand entstanden keine Schäden.
Vorfall und Rahmenbedingungen im Überblick
| Aspekt | Details |
| Beteiligte Akteure | Google (Gemini), Testfirma Irregular |
| Ursache | Fehlerhafte Sandbox-Isolierung & Namensgleichheit mit realer Domain |
| Betroffene KI-Entwickler | Neben Google auch OpenAI, Anthropic und Meta |
| Status | Schwachstellen in der Testumgebung laut Irregular vollständig behoben |
Branchenweites Problem
Der Vorfall ist kein Einzelfall: Auch KI-Modelle anderer Entwickler wie OpenAI, Anthropic und Meta führten während ähnlicher Tests bei Irregular unbeabsichtigte Aktionen im echten Netz aus. Die Ereignisse verdeutlichen die Risiken beim Testen autonomer KI-Agenten und unterstreichen die Notwendigkeit streng geschützter Testumgebungen, wenn Modelle mit der Analyse von Sicherheitslücken betraut werden.
Mobilfunk-Newsletter: Einmal pro Woche die neusten Informationen rund um Handy, Smartphones und Deals!
Unser kostenloser Newsletter informiert Sie regelmäßig per E-Mail über Produktneuheiten und Sonderaktionen. Ihre hier eingegebenen Daten werden lediglich zur Personalisierung des Newsletters verwendet und nicht an Dritte weitergegeben. Sie können sich jederzeit aus dem Newsletter heraus abmelden. Durch Absenden der von Ihnen eingegebenen Daten willigen Sie in die Datenverarbeitung ein und bestätigen unsere Datenschutzerklärung.
Immer die aktuellsten Nachrichten direkt im Smartphone.
Unsere Kanäle gibt es kostenlos hier:
Telegram: Appdated Telegram Channel
Facebook: Appdated Facebook Seite
Twitter: Appdated Twitter Channel
Technikaffin seit den Zeiten von Amiga 500 und C64 – mittlerweile aber eher mit deutlichem Fokus auf die Bereich Mobilfunk und Telekommunikation. Die ersten Artikel im Telco Bereich habe ich bereits 2006 geschrieben, seit dem bin ich dem Thema treu geblieben und nebenbei läuft mittlerweile auch noch ein Telefon- und Smartphone Museum um die Entiwcklung zu dokumentieren.