CEO-Bench: Os Agentes Conseguem Jogar o Jogo de Longo Prazo?

Resumo

Agentes de modelo de linguagem estão se tornando executores proficientes em tarefas isoladas e de curto horizonte, como engenharia de software e atendimento ao cliente. No entanto, os desafios do mundo real exigem uma combinação de habilidades sofisticadas que ainda não foram amplamente testadas em agentes: (1) navegar por longos horizontes em meio à incerteza; (2) adquirir informações em ambientes ruidosos; (3) adaptar-se a um mundo em mudança; (4) orquestrar múltiplas partes móveis em direção a um objetivo coerente. Apresentamos o CEO-Bench, que avalia essas capacidades em conjunto, simulando uma tarefa representativa do mundo real: operar uma startup por 500 dias. Um agente gerencia preços, marketing, orçamento e muitos outros aspectos de uma empresa fictícia por meio de uma interface Python programável, operando no mesmo ambiente e enfrentando os mesmos desafios que um CEO humano. O sucesso exige analisar bancos de dados empresariais ruidosos e interconectados, traduzir sinais em estratégias sólidas e coordenar muitas decisões com programação. Os agentes mais fortes escrevem código sofisticado que simula coortes de clientes para prever o fluxo de caixa futuro e extrai o histórico de negociações para descobrir preferências ocultas dos clientes. Mesmo assim, a maioria dos modelos de última geração enfrenta dificuldades neste ambiente. Apenas o Claude Opus 4.8 e o GPT-5.5 terminam acima do saldo inicial de $1 milhão, e nenhum deles obtém lucro de forma consistente. O CEO-Bench dá um primeiro passo em direção à medição da inteligência necessária para impulsionar um progresso sustentado e adaptativo ao longo do tempo.

English

Language model agents are becoming proficient executors at isolated, short-horizon tasks such as software engineering and customer service. Yet real-world challenges require a combination of sophisticated skills that remain largely untested in agents: (1) navigating long horizons amid uncertainty; (2) acquiring information in noisy environments; (3) adapting to a changing world; (4) orchestrating multiple moving parts toward a coherent goal. We introduce CEO-Bench, which evaluates these capabilities together by simulating a representative real-world task: operating a startup for 500 days. An agent manages pricing, marketing, budgeting, and many other aspects of a fictional company through a programmable Python interface, operating in the same environment and facing the same challenges as a human CEO. Success demands analyzing noisy, interconnected business databases, translating signals into sound strategy, and coordinating many decisions with programming. The strongest agents write sophisticated code that simulates customer cohorts to forecast future cash and mines negotiation history to uncover hidden customer preferences. Even so, most state-of-the-art models struggle in this environment. Only Claude Opus 4.8 and GPT-5.5 finish above the $1M starting balance, and neither consistently turns a profit. CEO-Bench takes a first step toward measuring the intelligence required to drive sustained, adaptive progress over time.