CEO-Bench: Kunnen agenten het lange spel spelen?

Samenvatting

Taalmodelagenten worden steeds vaardigere uitvoerders van geïsoleerde, kortetermijntaken zoals software engineering en klantenservice. Toch vereisen uitdagingen in de echte wereld een combinatie van geavanceerde vaardigheden die bij agenten grotendeels ongetest blijven: (1) navigeren over lange tijdshorizons in onzekere omstandigheden; (2) informatie verzamelen in ruizige omgevingen; (3) aanpassen aan een veranderende wereld; (4) coördineren van meerdere bewegende delen richting een samenhangend doel. We introduceren CEO-Bench, dat deze capaciteiten gezamenlijk evalueert door het simuleren van een representatieve echte taak: het runnen van een startup gedurende 500 dagen. Een agent beheert prijzen, marketing, budgettering en vele andere aspecten van een fictief bedrijf via een programmeerbare Python-interface, waarbij hij opereert in dezelfde omgeving en dezelfde uitdagingen tegenkomt als een menselijke CEO. Succes vereist het analyseren van ruizige, onderling verbonden bedrijfsdatabases, het vertalen van signalen naar een degelijke strategie, en het coördineren van vele beslissingen met programmeren. De meest capabele agenten schrijven geavanceerde code die klantsegmenten simuleert om toekomstige kasstromen te voorspellen en onderhandelingsgeschiedenis doorzoekt om verborgen klantvoorkeuren te ontdekken. Desondanks worstelen de meeste modernste modellen in deze omgeving. Alleen Claude Opus 4.8 en GPT-5.5 eindigen boven het startkapitaal van $1M, en geen van beide maakt consequent winst. CEO-Bench zet een eerste stap in het meten van de intelligentie die nodig is om aanhoudende, adaptieve vooruitgang in de loop van de tijd te stimuleren.

English

Language model agents are becoming proficient executors at isolated, short-horizon tasks such as software engineering and customer service. Yet real-world challenges require a combination of sophisticated skills that remain largely untested in agents: (1) navigating long horizons amid uncertainty; (2) acquiring information in noisy environments; (3) adapting to a changing world; (4) orchestrating multiple moving parts toward a coherent goal. We introduce CEO-Bench, which evaluates these capabilities together by simulating a representative real-world task: operating a startup for 500 days. An agent manages pricing, marketing, budgeting, and many other aspects of a fictional company through a programmable Python interface, operating in the same environment and facing the same challenges as a human CEO. Success demands analyzing noisy, interconnected business databases, translating signals into sound strategy, and coordinating many decisions with programming. The strongest agents write sophisticated code that simulates customer cohorts to forecast future cash and mines negotiation history to uncover hidden customer preferences. Even so, most state-of-the-art models struggle in this environment. Only Claude Opus 4.8 and GPT-5.5 finish above the $1M starting balance, and neither consistently turns a profit. CEO-Bench takes a first step toward measuring the intelligence required to drive sustained, adaptive progress over time.