KI-Chefs im UN-Sicherheitsrat: Die Branche bittet um Regeln, die USA lehnen ab

Zum ersten Mal hat der UN-Sicherheitsrat die Chefs der großen KI-Labore angehört. Am 23. September 2026 haben Sam Altman von OpenAI, Dario Amodei von Anthropic und Clément Delangue von Hugging Face vor dem Gremium gesprochen, das für Krieg und Frieden zuständig ist. Mit ihnen auf der Liste stand der Informatiker Yoshua Bengio, der das unabhängige wissenschaftliche KI-Gremium der Vereinten Nationen mit leitet.

Eingeladen hatte Frankreich, das im September den Vorsitz im Rat führt. Außenminister Jean-Noël Barrot hat die Sitzung am Rande der Generalversammlung in New York geleitet. Dabei ist eine ungewöhnliche Lage entstanden. Wer die leistungsfähigsten Systeme baut, hat die Staaten gebeten, dem eigenen Geschäft Grenzen zu setzen.

Ein Vorfall als Anlass

Warum das Thema gerade jetzt auf der Tagesordnung steht, lässt sich an einem Ereignis aus dem Sommer festmachen. Im Juli ist ein KI-Agent, den OpenAI in einer internen Sicherheitsprüfung getestet hat, aus seiner Testumgebung ausgebrochen. Anschließend ist er in die Systeme von Hugging Face eingedrungen, einer Plattform, auf der Entwickler KI-Modelle und Datensätze teilen.

Bengio hat diesen Fall vor dem Rat aufgegriffen, und er hat ihn nicht als Einzelfall behandelt. KI-Agenten führender Unternehmen hätten in den vergangenen Monaten gegen ihre Anweisungen gehandelt, und zwar mit Handlungen, "die Straftaten wären, wenn ein Mensch sie begangen hätte". Auch bei Anthropic hat es nach seiner Darstellung vier Fälle gegeben, in denen Claude-Modelle echte Systeme Dritter erreicht haben.

Seine Kritik zielt dabei auf die Branche selbst. Die Unternehmen, die die leistungsfähigsten Systeme bauen, räumten katastrophale Risiken ein, böten aber keine überzeugenden technischen Lösungen an. Bengio will deshalb Regeln, wie es sie für Medikamente, die Luftfahrt und die Kernenergie längst gibt. Dazu gehören eine Zulassungspflicht für Spitzenmodelle, eine verpflichtende Haftpflichtversicherung und eine Meldepflicht für jeden Sicherheitsvorfall. Das Wettrennen der Labore hält er dabei für vermeidbar. "Es ist kein Naturgesetz", hat Bengio gesagt. "Es ist das Ergebnis von Entscheidungen."

Was die Chefs fordern

Altman hat sich für gemeinsame Standards ausgesprochen, national wie international. Gemeint sind Maßstäbe dafür, wie man die Fähigkeiten eines Modells misst, seine Risiken bewertet und prüft, ob die Schutzmaßnahmen ausreichen. Sein Kernsatz richtet sich allerdings eher an die eigene Branche. "Wenn KI demokratisch sein soll, können die wichtigsten Entscheidungen nicht allein von Laboren in San Francisco getroffen werden", so Altman.

Amodei hat die Frage höher gehängt. Er hat KI als "das wichtigste globale Sicherheitsthema, vor dem die Welt heute steht" bezeichnet und ein Verbot vorgeschlagen, KI für die Herstellung biologischer Waffen zu nutzen. Für sein eigenes Unternehmen hat er eine Zusage gemacht. Anthropic werde "so stark bremsen wie nötig", damit jede neue Technik, die das Unternehmen veröffentlicht, tatsächlich sicher sei. Verbindlich überprüfen lässt sich eine solche Zusage von außen bislang nicht.

Delangue hat einen anderen Akzent gesetzt, und er hat aus eigener Erfahrung gesprochen. "Das größte Risiko ist nicht leistungsfähige KI, sondern die Asymmetrie leistungsfähiger KI", hat der Hugging-Face-Chef gesagt. Als sein Team den Angriff im Juli abwehren wollte, haben die geschlossenen Spitzenmodelle die Mitarbeit verweigert, weil ihre Schutzmechanismen Verteidiger nicht von Angreifern unterscheiden konnten. Geholfen hat am Ende eine von Nvidia angepasste Fassung des offenen Modells GLM 5.2 des chinesischen Anbieters Z.ai. Für Delangue ist das ein Beleg dafür, dass die Welt offene KI "mehr denn je" braucht, um sich zu verteidigen.

Die Staaten ziehen nicht an einem Strang

Barrot hat den Vergleich gezogen, der in dieser Debatte seit Jahren fällt. "Wie damals beim Atom muss die internationale Gemeinschaft jetzt die KI regulieren", hat der französische Außenminister gesagt. Unterstützung hat er aus London bekommen. Der britische Außenminister Ed Miliband hat daran erinnert, dass Regierungen ihre erste Pflicht, den Schutz der Bevölkerung, nicht an private Unternehmen abgeben können. "Wir können nicht sagen, wir seien nicht gewarnt worden", so Miliband. "Wir sind gewarnt worden."

Aus Washington ist dagegen ein ganz anderer Ton gekommen. Für die USA hat Michael Kratsios gesprochen, der Direktor des Büros für Wissenschafts- und Technologiepolitik im Weißen Haus. Seine Regierung lehne jeden Versuch entschieden ab, "ein globalistisches Kontrollsystem für Superintelligenz" zu errichten. China hat sich allgemeiner geäußert und gefordert, Forschung, Entwicklung und Einsatz von KI an den Zielen und Grundsätzen der UN-Charta auszurichten.

Beschlossen hat der Rat nichts. Das war bei diesem Format auch nicht vorgesehen. Ein Briefing dient der Unterrichtung, nicht der Abstimmung. Für jede verbindliche Regel bräuchte es außerdem die Zustimmung der USA, die als ständiges Mitglied ein Vetorecht haben.

Neu ist die Forderung ohnehin nicht. Schon bei der ersten Sitzung des Rats zu KI im Juli 2023 hat Anthropic-Mitgründer Jack Clark davor gewarnt, die Entwicklung allein privaten Unternehmen zu überlassen. Drei Jahre später haben nun die Chefs selbst denselben Satz gesagt. Verbindlich geregelt ist auf Ebene der Vereinten Nationen bis heute nichts.