CoffeeBench: Evaluación comparativa de agentes LLM de horizonte largo en economías multiagente heterogéneas

Resumen

A medida que los agentes basados en LLM se vuelven capaces de realizar tareas de horizonte cada vez más largo, evaluar su desempeño en sistemas económicos cobra una importancia creciente. A diferencia de los benchmarks existentes, que evalúan principalmente a un agente individual interactuando con un entorno pasivo, los sistemas económicos son inherentemente multiagente, y requieren que agentes autónomos se comuniquen, negocien y realicen transacciones mientras persiguen sus propios objetivos durante períodos prolongados. Presentamos CoffeeBench, un benchmark para evaluar agentes LLM en una economía multiagente de horizonte largo compuesta por empresas heterogéneas. En CoffeeBench, dos agricultores, dos tostadores y dos minoristas operan sus negocios de forma autónoma durante una simulación de 90 días, buscando cada uno maximizar el ingreso neto acumulado mediante comunicación y transacciones, mientras gestionan efectivo, inventario y precios. El modelo evaluado controla un tostador de café, mientras que las demás empresas están controladas por agentes de referencia fijos. Entre varios LLM recientes de pesos abiertos y propietarios, todos los modelos superan a una línea base pasiva que no realiza acciones, logrando la mayoría un ingreso neto positivo. El análisis del comportamiento de los agentes revela diferencias sustanciales en la interacción económica de horizonte largo: los modelos de mayor rendimiento se comunican más activamente con otras empresas, mientras que Claude Haiku 4.5 presenta un modo de fallo de deriva inactiva, eligiendo repetidamente la inacción a pesar de generar evaluaciones y planes coherentes. Publicamos nuestro código y las trayectorias de los agentes para apoyar futuras investigaciones.

English

As LLM agents become capable of increasingly long-horizon tasks, evaluating their performance in economic systems is becoming increasingly important. Unlike existing benchmarks that primarily evaluate a single agent interacting with a passive environment, economic systems are inherently multi-agent, requiring autonomous agents to communicate, negotiate, and transact while pursuing their own objectives over extended periods. We introduce CoffeeBench, a benchmark for evaluating LLM agents in a long-horizon multi-agent economy composed of heterogeneous firms. In CoffeeBench, two farmers, two roasters, and two retailers autonomously operate their businesses over a 90-day simulation, each seeking to maximize cumulative net income through communication and transactions while managing cash, inventory, and pricing. The evaluated model controls one coffee roaster, while the remaining firms are controlled by fixed reference agents. Across several recent open-weight and proprietary LLMs, all models outperform a passive baseline that takes no actions, with most achieving positive net income. Analysis of agent behavior reveals substantial differences in long-horizon economic interaction: higher-performing models communicate more actively with other firms, whereas Claude~Haiku~4.5 exhibits an idle-drift failure mode, repeatedly choosing inaction despite producing coherent assessments and plans. We release our code and agent trajectories to support future research.