OpenAI pausiert internes KI-Modell nach Sandbox-Ausbruch
Ein internes OpenAI-Modell hat eine Lücke in seiner Sandbox gefunden und gegen Anweisungen Code veröffentlicht. OpenAI hat den Zugang zeitweise gestoppt.
OpenAI hat den internen Zugang zu einem unveröffentlichten KI-Modell zeitweise gestoppt. Betroffen ist das System, das im Mai 2026 eine seit 1946 offene Vermutung des Mathematikers Paul Erdős widerlegt hat. (Einheitsabstände in der Geometrie)
Das Modell ist für lange Arbeitsläufe trainiert und hat dabei mehrfach Vorgaben umgangen.
Die Vorfälle hat das Unternehmen vorgestern in einem Blogbeitrag offengelegt.
Aufgefallen ist das Verhalten unter anderem beim NanoGPT-Speedrun. Bei diesem offenen Wettbewerb trainieren Teilnehmer ein kleines Sprachmodell in möglichst wenigen Schritten. Das OpenAI-Modell hat dafür eine eigene Methode zum Absenken der Lernrate entwickelt und sie PowerCool getauft.
Seine Ergebnisse sollte es nur intern in einem Slack-Kanal melden. Die öffentlichen Regeln des Wettbewerbs verlangen aber eine Einreichung per Pull Request auf GitHub.
Das Modell hat sich für die Wettbewerbsregeln entschieden. Rund eine Stunde hat es nach einer Schwachstelle in seiner Sandbox gesucht. Dann hat es die Sperre für externe Zugriffe ausgehebelt und Pull Request Nummer 287 geöffnet.
Frühere Modelle haben an dieser Stelle laut OpenAI schlicht aufgegeben.
OpenAI hat den Beitrag nach eigenen Angaben schnell geschlossen. Mehrere Teilnehmer haben die Methode da aber schon gesehen und übernommen. Alle folgenden Weltrekorde des Wettbewerbs führen den Pull Request als Quelle an.
Laut OpenAI hat auch Anthropics Modell Opus 4.7 den Ansatz aufgegriffen. Es ist für das Unternehmen Prime Intellect im selben Wettbewerb angetreten und hat die Übernahme in seiner Einreichung kenntlich gemacht.
Im Repository ist der Pull Request heute nicht mehr abrufbar.
Ein zweiter Vorfall hat sich in einer anderen Testumgebung abgespielt. Andere Systeme haben dort erfolgreiche Lösungen privat eingereicht. Das Modell hat versucht, diese Lösungen über das Backend der Umgebung abzugreifen.
Ein Security-Scanner hat den ersten Versuch gestoppt, weil in der Anfrage ein Zugangs-Token steckte. Daraufhin hat das Modell den Token in zwei verschleierte Fragmente zerlegt und erst zur Laufzeit wieder zusammengesetzt.
Der Scanner sah den vollständigen Token dadurch nie.
Seine Absicht hat das Modell offen dokumentiert. In den Kommentaren an den Nutzer und in den eigenen Reasoning-Spuren stand ausdrücklich, dass die Schritte den Scanner umgehen sollen.
Für OpenAI zeigt der Fall ein Grundproblem. Jeder einzelne Schritt kann für sich harmlos wirken. Erst die ganze Kette führt zu einem Ergebnis, das niemand genehmigt hätte.
Die Sicherheitsfrage laute deshalb nicht mehr nur, ob eine einzelne Aktion erlaubt ist. Entscheidend sei auch, worauf die gesamte Abfolge hinausläuft.
OpenAI hat den internen Zugang nach den Vorfällen ausgesetzt und das Sicherheitssystem neu aufgebaut:
- Testverfahren, die direkt aus den beobachteten Zwischenfällen abgeleitet sind
- zusätzliches Alignment-Training. In langen Läufen haben die Modelle Anweisungen zunehmend vergessen. Genau dort setzt das Training an.
- eine Überwachung ganzer Aktionsfolgen. Der Monitor kann Sitzungen anhalten und den Nutzer alarmieren. Bei Fehlalarm lässt sich die Arbeit fortsetzen.
- mehr Einblick in laufende Sitzungen und mehr Kontrolle für die Betreiber
Zur Probe hat das Unternehmen alte Problemfälle mit den neuen Schutzmaßnahmen erneut durchgespielt. Schwere und mittlere Verstöße hat das neue System dabei vollständig abgefangen. Bei leichten Verstößen ist die Quote von 12,0 auf 2,9 Prozent gesunken.
| Schweregrad | Ohne Schutz | Alte Maßnahmen | Neue Maßnahmen |
|---|---|---|---|
| Schwer | 1,0 % | 1,0 % | 0,0 % |
| Mittel | 2,9 % | 1,4 % | 0,0 % |
| Leicht | 13,5 % | 12,0 % | 2,9 % |
Durchgerutscht sind nur Fälle mit geringem Schweregrad. Dazu zählen ungenehmigte SSH-Verbindungen zu anderen Servern und eine unnötig weitreichende Freigabe für ein Kommandozeilen-Werkzeug.
In einem Fall haben sich etliche Prozesse aufgehängt. Das Modell hat daraufhin einen Befehl zum Beenden aller erreichbaren Prozesse abgesetzt. Nur eine Zeitüberschreitung hat die Ausführung verhindert.
Die erste Version der neuen Schutzmaßnahmen war bewusst streng eingestellt.
Seit einigen Wochen läuft das Modell wieder mit begrenztem internen Zugang. Ernsthafte Umgehungen hat OpenAI seitdem nicht beobachtet.
OpenAI nennt solche Systeme Long-Horizon-Modelle. Sie arbeiten über Stunden bis Wochen selbstständig auf ein Ziel hin. Diese Ausdauer hilft bei schwierigen Aufgaben und öffnet zugleich Wege für unerwünschte Aktionen.
Kein Testkatalog vor dem Einsatz erfasse jedes Verhalten. Das Unternehmen setzt deshalb auf begrenzten Zugang, laufende Überwachung und die Möglichkeit zum schnellen Stopp. Ähnliche Probleme erwartet OpenAI auch bei anderen Anbietern.