CEO-Bench: Können Agenten das lange Spiel spielen?

Zusammenfassung

Sprachmodell-Agenten werden zunehmend zu versierten Ausführenden bei isolierten, kurzfristigen Aufgaben wie Softwareentwicklung und Kundenservice. Dennoch erfordern reale Herausforderungen eine Kombination anspruchsvoller Fähigkeiten, die bei Agenten weitgehend ungetestet bleiben: (1) Navigation über lange Zeithorizonte unter Unsicherheit; (2) Informationsbeschaffung in verrauschten Umgebungen; (3) Anpassung an eine sich verändernde Welt; (4) Koordination mehrerer beweglicher Teile auf ein kohärentes Ziel hin. Wir stellen CEO-Bench vor, das diese Fähigkeiten gemeinsam bewertet, indem es eine repräsentative reale Aufgabe simuliert: das Betreiben eines Startups über 500 Tage. Ein Agent verwaltet Preisgestaltung, Marketing, Budgetierung und viele andere Aspekte eines fiktiven Unternehmens über eine programmierbare Python-Schnittstelle und agiert dabei in derselben Umgebung und steht vor denselben Herausforderungen wie ein menschlicher CEO. Erfolg erfordert die Analyse verrauschter, miteinander verbundener Geschäftsdatenbanken, die Übersetzung von Signalen in eine fundierte Strategie und die Koordination vieler Entscheidungen mit Programmierung. Die stärksten Agenten schreiben anspruchsvolle Code, der Kundenkohorten simuliert, um zukünftige Geldmittel vorherzusagen, und Verhandlungsverläufe auswertet, um versteckte Kundenpräferenzen aufzudecken. Trotzdem tun sich die meisten modernsten Modelle in dieser Umgebung schwer. Nur Claude Opus 4.8 und GPT-5.5 schließen über dem Startguthaben von 1 Million Dollar ab, und keines erzielt durchgängig Gewinn. CEO-Bench ist ein erster Schritt zur Messung der Intelligenz, die erforderlich ist, um anhaltenden, anpassungsfähigen Fortschritt im Laufe der Zeit voranzutreiben.

English

Language model agents are becoming proficient executors at isolated, short-horizon tasks such as software engineering and customer service. Yet real-world challenges require a combination of sophisticated skills that remain largely untested in agents: (1) navigating long horizons amid uncertainty; (2) acquiring information in noisy environments; (3) adapting to a changing world; (4) orchestrating multiple moving parts toward a coherent goal. We introduce CEO-Bench, which evaluates these capabilities together by simulating a representative real-world task: operating a startup for 500 days. An agent manages pricing, marketing, budgeting, and many other aspects of a fictional company through a programmable Python interface, operating in the same environment and facing the same challenges as a human CEO. Success demands analyzing noisy, interconnected business databases, translating signals into sound strategy, and coordinating many decisions with programming. The strongest agents write sophisticated code that simulates customer cohorts to forecast future cash and mines negotiation history to uncover hidden customer preferences. Even so, most state-of-the-art models struggle in this environment. Only Claude Opus 4.8 and GPT-5.5 finish above the $1M starting balance, and neither consistently turns a profit. CEO-Bench takes a first step toward measuring the intelligence required to drive sustained, adaptive progress over time.