CEO-Bench: ¿Pueden los agentes jugar a largo plazo?

Resumen

Los agentes de modelos de lenguaje se están convirtiendo en ejecutores competentes en tareas aisladas de horizonte corto, como la ingeniería de software y la atención al cliente. Sin embargo, los desafíos del mundo real requieren una combinación de habilidades sofisticadas que aún no han sido suficientemente evaluadas en los agentes: (1) navegar horizontes prolongados en medio de la incertidumbre; (2) adquirir información en entornos ruidosos; (3) adaptarse a un mundo cambiante; (4) orquestar múltiples componentes móviles hacia un objetivo coherente. Presentamos CEO-Bench, que evalúa estas capacidades de forma conjunta simulando una tarea representativa del mundo real: dirigir una startup durante 500 días. Un agente gestiona precios, marketing, presupuestos y muchos otros aspectos de una empresa ficticia a través de una interfaz programable en Python, operando en el mismo entorno y enfrentando los mismos desafíos que un CEO humano. El éxito exige analizar bases de datos empresariales ruidosas e interconectadas, traducir las señales en una estrategia sólida y coordinar numerosas decisiones mediante programación. Los agentes más potentes escriben código sofisticado que simula cohortes de clientes para pronosticar el flujo de caja futuro y explora el historial de negociaciones para descubrir preferencias ocultas de los clientes. Aun así, la mayoría de los modelos de última generación tienen dificultades en este entorno. Solo Claude Opus 4.8 y GPT-5.5 terminan por encima del saldo inicial de $1M, y ninguno de ellos genera ganancias de forma consistente. CEO-Bench da un primer paso hacia la medición de la inteligencia necesaria para impulsar un progreso adaptativo y sostenido a lo largo del tiempo.

English

Language model agents are becoming proficient executors at isolated, short-horizon tasks such as software engineering and customer service. Yet real-world challenges require a combination of sophisticated skills that remain largely untested in agents: (1) navigating long horizons amid uncertainty; (2) acquiring information in noisy environments; (3) adapting to a changing world; (4) orchestrating multiple moving parts toward a coherent goal. We introduce CEO-Bench, which evaluates these capabilities together by simulating a representative real-world task: operating a startup for 500 days. An agent manages pricing, marketing, budgeting, and many other aspects of a fictional company through a programmable Python interface, operating in the same environment and facing the same challenges as a human CEO. Success demands analyzing noisy, interconnected business databases, translating signals into sound strategy, and coordinating many decisions with programming. The strongest agents write sophisticated code that simulates customer cohorts to forecast future cash and mines negotiation history to uncover hidden customer preferences. Even so, most state-of-the-art models struggle in this environment. Only Claude Opus 4.8 and GPT-5.5 finish above the $1M starting balance, and neither consistently turns a profit. CEO-Bench takes a first step toward measuring the intelligence required to drive sustained, adaptive progress over time.