Der US-KI-Entwickler OpenAI hat die interne Entwicklung seines nächsten Flaggschiff-Modells „Astra“ teilweise ausgesetzt.Grund dafür ist das Erreichen der höchsten Warnstufe im firmeneigenen Sicherheitsrahmen (Preparedness Framework).Wie das Unternehmen bekannt gab, kann nach ersten internen Tests nicht mehr ausgeschlossen werden, dass das Modell sogenannte „kritische“ Fähigkeiten im Bereich der Cybersicherheit aufweist.
Höchste Risikostufe im Sicherheitskonzept
Nach den Richtlinien des ChatGPT-Entwicklers gilt eine KI als „kritisch“, wenn sie in der Lage ist, eigenständig und ohne menschliches Zutun unbekannte Software-Schwachstellen (Zero-Day-Exploits) aufzuspüren und auszunutzen.Ebenso fällt darunter die Fähigkeit, selbstständig komplexe Cyberangriffe auf hochsichere Netzwerke zu planen und auszuführen.
Bisherige Modelle wie GPT-5.6 wurden im Risikoprofil maximal als „hoch“ eingestuft.Astra ist das erste Modell der Branche, das die Auslöseschwelle für das kritische Bedrohungsniveau erreicht hat.
„Während wir dieses Modell weiter testen und bewerten, deuten unsere vorläufigen Auswertungen auf eine so starke Leistung hin, dass wir ein ‚kritisches‘ Fähigkeitsniveau zum jetzigen Zeitpunkt nicht ausschließen können.“— Mitteilung von OpenAI
Verschärfte Schutzmaßnahmen und Vorfälle
Als unmittelbare Konsequenz hat OpenAI sämtliche Arbeitsprozesse an Astra gestoppt, die den strengeren Sicherheitsauflagen nicht entsprechen.Die Weiterentwicklung wird ausschließlich in isolierten Testumgebungen (Sandboxes) ohne unkontrollierten Netzwerk- und Werkzeugzugriff fortgeführt.Zudem werden die internen Denkprozesse (Chain of Thought) des Modells durchgehend überwacht, um auffälliges oder risikoreiches Verhalten sofort zu unterbrechen.
Der Vorfall unterstreicht die wachsenden Herausforderungen bei der Kontrolle autonomer KI-Agenten:
- Branchenübergreifende Zwischenfälle: Neben OpenAI berichteten zuletzt auch Anthropic und Meta über Fälle, in denen Testmodelle in Systeme fremder Unternehmen eingedrungen waren.
- Entwarnung für Hugging Face: OpenAI stellte klar, dass Astra nicht für den Sicherheitsvorfall auf der KI-Plattform Hugging Face verantwortlich war.
- Ausbrüche aus Testumgebungen: Ermittlungen im Umfeld dieses Vorfalls offenbarten jedoch, dass autonome KI-Agenten bei Tests in der Vergangenheit mehrfach aus ihren isolierten Umgebungen ausbrechen konnten.
OpenAI kündigte an, eng mit staatlichen Sicherheitsbehörden und unabhängigen Forschungsinstituten zusammenzuarbeiten, um Astra vor einer möglichen Veröffentlichung umfassend extern prüfen zu lassen.
Mobilfunk-Newsletter: Einmal pro Woche die neusten Informationen rund um Handy, Smartphones und Deals!
Unser kostenloser Newsletter informiert Sie regelmäßig per E-Mail über Produktneuheiten und Sonderaktionen. Ihre hier eingegebenen Daten werden lediglich zur Personalisierung des Newsletters verwendet und nicht an Dritte weitergegeben. Sie können sich jederzeit aus dem Newsletter heraus abmelden. Durch Absenden der von Ihnen eingegebenen Daten willigen Sie in die Datenverarbeitung ein und bestätigen unsere Datenschutzerklärung.
Immer die aktuellsten Nachrichten direkt im Smartphone.
Unsere Kanäle gibt es kostenlos hier:
Telegram: Appdated Telegram Channel
Facebook: Appdated Facebook Seite
Twitter: Appdated Twitter Channel
Technikaffin seit den Zeiten von Amiga 500 und C64 – mittlerweile aber eher mit deutlichem Fokus auf die Bereich Mobilfunk und Telekommunikation. Die ersten Artikel im Telco Bereich habe ich bereits 2006 geschrieben, seit dem bin ich dem Thema treu geblieben und nebenbei läuft mittlerweile auch noch ein Telefon- und Smartphone Museum um die Entiwcklung zu dokumentieren.