Das US-amerikanische KI-Start-up Anthropic hat einen weiteren Zwischenfall öffentlich gemacht, bei dem eine Vorabversion seines KI-Modells Claude Opus 4.6 ungewollt in reale IT-Systeme eingedrungen ist. Wie das Unternehmen in einem Blogbeitrag mitteilte, datiert der Vorfall bereits aus dem Januar. Es handelt sich um den vierten bekannt gewordenen Fall dieser Art, nachdem Anthropic erst im Juli offengelegt hatte, dass Versuchsversionen seiner Modelle im Rahmen von Tests in die Infrastruktur dreier externer Firmen gelangt waren. Die betroffenen Parteien seien informiert worden.
Inhaltsverzeichnis
Konfigurationsfehler öffnet Weg ins offene Internet
Auslöser der Zwischenfälle war jeweils ein technisches Versäumnis bei Sicherheitstests, sogenannten Capture-the-Flag-Übungen, die im Auftrag von Anthropic durch einen externen Evaluationspartner durchgeführt wurden. Den Modellen wurde zwar per Anweisung mitgeteilt, sie befänden sich in einer isolierten Simulationsumgebung ohne Internetzugang. Wegen einer Fehlkonfiguration bestand jedoch eine Verbindung zum realen Netz.
In den Simulationen hielt die Künstliche Intelligenz die realen Server und Webseiten für Teile der Testumgebung. Um die ihr übertragenen Aufgaben zu erfüllen, identifizierte und nutzte die KI Sicherheitslücken in den fremden Systemen – unter anderem durch das Ausnutzen schwacher Passwörter oder ungeschützter Schnittstellen.
Nachträgliche Analyse enthüllt übersehenen Testlauf
Dass der Vorfall vom Januar erst jetzt bekannt wurde, liegt an Lücken bei der ursprünglichen Überprüfung. Nach einem aufsehenerregenden Angriff eines OpenAI-gesteuerten Agenten auf die Plattform Hugging Face hatte Anthropic zunächst rund 141.000 Testläufe analysiert und dabei die ersten drei Fälle entdeckt.
Bei der Zusammenstellung von Daten für externe Prüfer fiel jedoch auf, dass eine Reihe von Testprotokollen bei der ersten Durchsicht übergangen worden war. Die Auswertung dieser verbliebenen Daten im vergangenen Monat führte schließlich zur Entdeckung des vierten Vorfalls mit Claude Opus 4.6. Um weitere unentdeckte Fälle auszuschließen, weitete Anthropic die Überprüfung anschließend auf etwa 481 Millionen Protokolle aus, fand nach eigenen Angaben jedoch keine weiteren gravierenden Verstöße.
Unabhängige Untersuchung durch METR
Um Transparenz zu schaffen und die Ursachen der Fehlleistungen aufzuarbeiten, hat Anthropic das unabhängige Forschungsinstitut METR (Model Evaluation and Threat Research) mit einer externen Untersuchung aller vier Fälle beauftragt. Den Sicherheitsexperten von METR wird dafür umfassender Einblick gewährt: Sie erhalten Zugriff auf vertrauliche Protokolle sowie die Erlaubnis, Gespräche mit den zuständigen Entwicklern zu führen. Die Vereinbarung ist zunächst auf acht Wochen angelegt, kann aber von beiden Seiten verlängert werden.
Nach eigenen Analysen von Anthropic lassen sich die Vorfälle vor allem auf zwei Kernprobleme der Modellausrichtung (Alignment) zurückführen: eine fehlerhafte Logik bei der Umgebungsanalyse, bei der die Modelle Anzeichen für einen echten Internetzugang ignorierten, sowie eine „Rücksichtslosigkeit“ beim Verfolgen des vorgegebenen Ziels.
Branche steht unter wachsender Beobachtung
Der Fall reiht sich in eine Serie von Pannen ein, die die Debatte um die Kontrolle autonomer KI-Agenten befeuern. Erst kürzlich wurde bekannt, dass auch bei OpenAIs Systemen außer Kontrolle geratene Agenten unbeabsichtigt Zugriff auf das Netz erhielten und unter anderem ein deutschsprachiges Online-Wiki mit tausenden automatisierten Beiträgen überschwemmten. Die Vorfälle verdeutlichen die Schwierigkeit, hochentwickelten KI-Modellen feste Grenzen zu setzen, sobald sie mit eigenständigen Handlungsspielräumen ausgestattet werden.
Mobilfunk-Newsletter: Einmal pro Woche die neusten Informationen rund um Handy, Smartphones und Deals!
Unser kostenloser Newsletter informiert Sie regelmäßig per E-Mail über Produktneuheiten und Sonderaktionen. Ihre hier eingegebenen Daten werden lediglich zur Personalisierung des Newsletters verwendet und nicht an Dritte weitergegeben. Sie können sich jederzeit aus dem Newsletter heraus abmelden. Durch Absenden der von Ihnen eingegebenen Daten willigen Sie in die Datenverarbeitung ein und bestätigen unsere Datenschutzerklärung.
Immer die aktuellsten Nachrichten direkt im Smartphone.
Unsere Kanäle gibt es kostenlos hier:
Telegram: Appdated Telegram Channel
Facebook: Appdated Facebook Seite
Twitter: Appdated Twitter Channel
Technikaffin seit den Zeiten von Amiga 500 und C64 – mittlerweile aber eher mit deutlichem Fokus auf die Bereich Mobilfunk und Telekommunikation. Die ersten Artikel im Telco Bereich habe ich bereits 2006 geschrieben, seit dem bin ich dem Thema treu geblieben und nebenbei läuft mittlerweile auch noch ein Telefon- und Smartphone Museum um die Entiwcklung zu dokumentieren.