500 Tage als CEO: Im Princeton-Test wirtschaften die meisten KI-Modelle ein Startup in die Pleite
Im Benchmark CEO-Bench der Princeton University haben 14 Sprachmodelle ein fiktives Software-Startup durch 500 simulierte Tage gesteuert. Nur drei haben ihr Startkapital vermehrt. Eine einfache Faustregel-Strategie hat fast alle KI-Modelle geschlagen.
Können KI-Agenten ein Unternehmen führen, wenn Entscheidungen ihre Wirkung erst Wochen später zeigen? Forscher der Princeton University um Haozhe Chen, Karthik Narasimhan und Zhuang Liu haben das mit dem Benchmark CEO-Bench untersucht. Das Ergebnis ist ernüchternd: Nur drei von 14 getesteten Modellen haben ihr Startkapital am Ende vermehrt. Fünf sind in jedem einzelnen Durchlauf bankrott gegangen.
Schauplatz des Tests ist "NovaMind", ein erfundener Anbieter von Abo-Software. Das Unternehmen startet mit einer Million US-Dollar auf dem Konto und ohne einen einzigen Kunden.
500 simulierte Tage lang trifft der KI-Agent alle Entscheidungen der Geschäftsführung: Er legt Preise und Tarifstufen fest, verteilt Werbebudgets, investiert in Produktqualität und Entwicklung, plant die Serverkapazität, organisiert den Kundensupport und verhandelt mit Großkunden.
Zur Verfügung stehen ihm eine Python-Schnittstelle mit 34 Tools und eine Datenbank mit 19 Tabellen. Damit kann der Agent eigene Abfragen schreiben und Auswertungen bauen. Der simulierte Markt macht es ihm dabei nicht leicht. Er ist nur teilweise einsehbar, liefert verrauschte Daten und reagiert verzögert.
Rutscht der Kontostand unter null, ist das Unternehmen pleite. Jedes Modell hat drei Durchläufe absolviert.
An der Spitze liegen zwei Modelle von Anthropic und eines von OpenAI.
Interessant ist aber die Benchmark: Eine einfache regelbasierte Strategie ganz ohne KI hat 15,76 Millionen US-Dollar erwirtschaftet und damit elf der 14 getesteten Modelle geschlagen. Die schlichte Strategie setzt auf feste Preise und richtet die Serverkapazität am Bedarf aus.
| Agent | Endstand nach 500 Tagen |
|---|---|
| Claude Fable 5 | 47,15 Mio. USD |
| Claude Opus 4.8 | 27,8 Mio. USD |
| GPT-5.5 | 21,3 Mio. USD (insolvent in 2 von 3 Läufen) |
| Regelbasierte Strategie (ohne KI) | 15,76 Mio. USD |
| Claude Opus 4.7 | rund 390.000 USD |
Fünf Modelle sind in jedem einzelnen Durchlauf pleitegegangen: GLM 5.1, Claude Haiku 4.5, Gemini 3 Flash, DeepSeek V4 Pro und Grok 4.20. Auch Kimi K2.6 und Claude Sonnet 4.6 haben den größten Teil ihres Kapitals verloren. Auffällig sind starke Schwankungen zwischen den Durchläufen. GPT-5.5 zum Beispiel hat in einem Lauf sehr gut abgeschnitten, in den beiden anderen ist das Modell bankrottgegangen.
In der Auswertung zeigt sich ein klares Muster: Erfolgreiche Modelle haben laufend Neues ausprobiert. Sie haben die Kundenakquise ausgeweitet, Tarife angepasst und Sonderaktionen getestet. Schwächere Modelle haben sich aber aufs Kostensparen verlegt. Claude Opus 4.7 zum Beispiel hat vor allem die Kasse zusammengehalten. Das Modell hat so überlebt, aber mehr als die Hälfte seines Startkapitals verloren.
Eine falsche Entscheidung führt in der Simulation selten sofort zum Scheitern. Probleme summieren sich schleichend, bis das Geschäft nicht mehr zu retten ist. So fassen es die Autoren sinngemäß zusammen.
Vier Fähigkeiten haben laut Studie über Erfolg und Misserfolg entschieden:
- verborgene Zusammenhänge aufdecken, zum Beispiel die tatsächliche Wirksamkeit einzelner Werbekanäle
- den Cashflow einige Wochen im Voraus prognostizieren
- Marktveränderungen aus indirekten Signalen frühzeitig erkennen
- verschiedene Zukunftsszenarien durchplanen
Ein Nebenbefund dürfte Entwickler aufhorchen lassen: Mit den Coding-Agents Claude Code und Codex haben dieselben Modelle schlechter abgeschnitten als mit der eigens gebauten Testumgebung der Studie. Sie haben dort pro Zug weniger Aktionen ausgeführt. Die System-Prompts dieser Werkzeuge sind auf Software-Entwicklung zugeschnitten und bremsen offenbar genau die Exploration, die das Management-Szenario verlangt.
CEO-Bench bildet Unternehmensführung nur vereinfacht ab, das räumen die Autoren selbst ein. Die Produktqualität schrumpft in der Simulation auf einen einzigen Zahlenwert zusammen. Compliance, Sicherheit und Finanzierungsrunden kommen gar nicht vor. Für Aussagen über echte Führungsarbeit taugt der Test deshalb nur begrenzt.
Trotzdem ist der Benchmark als Stresstest für langfristiges Entscheiden aufschlussreich. Aktuelle Modelle erledigen eng umrissene Aufgaben zuverlässig. Eine kohärente Strategie über Monate durchzuhalten, fällt ihnen aber schwer. Das spricht dafür, KI-Agenten vorerst als Werkzeuge in menschlich geführten Prozessen einzusetzen und nicht als autonome Entscheider.
Der Quellcode des Benchmarks liegt frei zugänglich auf GitHub, die Ergebnisse lassen sich deshalb unabhängig nachprüfen. Eine ausführliche Zusammenfassung der Resultate bietet zum Beispiel The Decoder.