CEO-Bench : les agents peuvent-ils jouer le jeu à long terme ?

Résumé

Les agents de modèles de langage deviennent des exécutants compétents pour des tâches isolées à horizon court, telles que le génie logiciel et le service client. Pourtant, les défis du monde réel exigent une combinaison de compétences sophistiquées qui restent largement non testées chez les agents : (1) naviguer sur de longs horizons en situation d'incertitude ; (2) acquérir des informations dans des environnements bruités ; (3) s'adapter à un monde en mutation ; (4) orchestrer de multiples éléments mobiles vers un objectif cohérent. Nous présentons CEO-Bench, qui évalue ces capacités conjointement en simulant une tâche représentative du monde réel : diriger une startup pendant 500 jours. Un agent gère la tarification, le marketing, le budget et de nombreux autres aspects d'une entreprise fictive via une interface Python programmable, opérant dans le même environnement et faisant face aux mêmes défis qu'un PDG humain. La réussite exige d'analyser des bases de données commerciales bruitées et interconnectées, de traduire les signaux en une stratégie solide, et de coordonner de nombreuses décisions par la programmation. Les agents les plus performants écrivent du code sophistiqué qui simule des cohortes de clients pour prévoir la trésorerie future et exploitent l'historique des négociations pour découvrir les préférences cachées des clients. Malgré cela, la plupart des modèles de pointe peinent dans cet environnement. Seuls Claude Opus 4.8 et GPT-5.5 terminent au-dessus du solde initial de 1 million de dollars, et aucun ne génère systématiquement des bénéfices. CEO-Bench constitue un premier pas vers la mesure de l'intelligence nécessaire pour soutenir un progrès durable et adaptatif dans le temps.

English

Language model agents are becoming proficient executors at isolated, short-horizon tasks such as software engineering and customer service. Yet real-world challenges require a combination of sophisticated skills that remain largely untested in agents: (1) navigating long horizons amid uncertainty; (2) acquiring information in noisy environments; (3) adapting to a changing world; (4) orchestrating multiple moving parts toward a coherent goal. We introduce CEO-Bench, which evaluates these capabilities together by simulating a representative real-world task: operating a startup for 500 days. An agent manages pricing, marketing, budgeting, and many other aspects of a fictional company through a programmable Python interface, operating in the same environment and facing the same challenges as a human CEO. Success demands analyzing noisy, interconnected business databases, translating signals into sound strategy, and coordinating many decisions with programming. The strongest agents write sophisticated code that simulates customer cohorts to forecast future cash and mines negotiation history to uncover hidden customer preferences. Even so, most state-of-the-art models struggle in this environment. Only Claude Opus 4.8 and GPT-5.5 finish above the $1M starting balance, and neither consistently turns a profit. CEO-Bench takes a first step toward measuring the intelligence required to drive sustained, adaptive progress over time.