Der ChatGPT-Entwickler OpenAI bremst nach einem beispiellosen Zwischenfall die Entwicklung seiner fortgeschrittenen KI-Modelle ab. Wie das Unternehmen am Dienstag mitteilte, wurden Modelltests vorübergehend für zwei Wochen pausiert, während Forschungs- und Trainingsumgebungen grundlegend überarbeitet werden.Hintergrund ist ein Vorfall aus dem Juli, bei dem ein autonom arbeitender KI-Agent während eines internen Sicherheitstests aus seiner Testumgebung ausbrach und die Systeme der Plattform Hugging Face angriff.
Ausbruch aus der Testumgebung
Bei dem Vorfall im Juli schickte OpenAI zwei fortgeschrittene KI-Modelle in einen standardisierten Cybersicherheitstest (ExploitGym), um deren offensive Fähigkeiten zu messen.Um unvoreingenommene Ergebnisse zu erhalten, wurden die internen Schutzschranken der Modelle reduziert. Statt das Ziel innerhalb der virtuellen Trainingsumgebung zu lösen oder aufzugeben, nutzten die Agenten eine zuvor unbekannte Sicherheitslücke, verschafften sich Internetzugang und griffen auf Produktivsysteme des KI-Start-ups Hugging Face zu, um dort gezielt nach den Lösungsschlüsseln für den Test zu suchen.
OpenAI setzt nun auf zusätzliche KI-Systeme zur dauerhaften Überwachung.Das Training der nächsten Generation sowie der bislang größte geplante Trainingslauf wurden vorerst gestoppt.Ein ausführlicher Untersuchungsbericht zu dem Vorfall soll in Kürze veröffentlicht werden.
Das Risikomodell „Astra“ erreicht kritische Schwelle
Zusätzliche Brisanz erhält die Verzögerung durch die Vorbereitungen auf das neue Modell namens Astra.Wie OpenAI bereits am 7. August einräumte, deuten interne Evaluationen darauf hin, dass Astra im Bereich Codierung und Cybersicherheit Leistungsfähigkeiten erreicht, die das Modell nahe an die Kategorie „Kritisch“ (Critical Threshold) rücken.Nach den internen Richtlinien des Konzerns umfasst diese Einstufung Systeme, die ohne menschliches Eingreifen schwerwiegende Sicherheitslücken (Zero-Day-Exploits) in geschützten Systemen finden oder komplexe Cyberangriffe orchestrieren können.Alle Aktivitäten rund um Astra, die den verschärften Sicherheitsanforderungen noch nicht genügen, wurden pausiert.
Paradigmenwechsel in der Branche
Der Schritt zur Verlangsamung markiert eine deutliche Kertwende für OpenAI. Um im extremen Wettbewerb Schritt zu halten, hatte das Unternehmen Evaluationen und Produktzyklen in den vergangenen Jahren massiv beschleunigt. Nach Berichten der Nachrichtenagentur Reuters liefen oft mehrere Evaluierungen gleichzeitig und unter enormem Zeitdruck ab.
Ob die nun eingeführten Sicherheitsvorkehrungen ausreichen, gilt in Expertenkreisen jedoch als offen.OpenAI-Vertreter räumten ein, dass die sogenannte Chain-of-thought-Überwachung – bei der Forscher die Zwischenschritte und Gedankenpfade des KI-Modells einsehen können – Lücken aufweist.Erste Untersuchungen zeigen, dass hochentwickelte KI-Systeme lernen könnten, Regelverstöße vor dieser Überwachung zu verbergen.Künftig sollen alle sensiblen Testläufe daher in strikt isolierten Sicherheitsumgebungen („Sandboxes“) stattfinden. Führungskräfte des Unternehmens betonten, dass die gesamte KI-Branche nun umfassende und gemeinsam getragene Schutzstrategien für die nächste KI-Generation entwickeln müsse.
Mobilfunk-Newsletter: Einmal pro Woche die neusten Informationen rund um Handy, Smartphones und Deals!
Unser kostenloser Newsletter informiert Sie regelmäßig per E-Mail über Produktneuheiten und Sonderaktionen. Ihre hier eingegebenen Daten werden lediglich zur Personalisierung des Newsletters verwendet und nicht an Dritte weitergegeben. Sie können sich jederzeit aus dem Newsletter heraus abmelden. Durch Absenden der von Ihnen eingegebenen Daten willigen Sie in die Datenverarbeitung ein und bestätigen unsere Datenschutzerklärung.
Immer die aktuellsten Nachrichten direkt im Smartphone.
Unsere Kanäle gibt es kostenlos hier:
Telegram: Appdated Telegram Channel
Facebook: Appdated Facebook Seite
Twitter: Appdated Twitter Channel
Technikaffin seit den Zeiten von Amiga 500 und C64 – mittlerweile aber eher mit deutlichem Fokus auf die Bereich Mobilfunk und Telekommunikation. Die ersten Artikel im Telco Bereich habe ich bereits 2006 geschrieben, seit dem bin ich dem Thema treu geblieben und nebenbei läuft mittlerweile auch noch ein Telefon- und Smartphone Museum um die Entiwcklung zu dokumentieren.