CoffeeBench : Benchmarking des agents LLM à horizon temporel long dans des économies multi-agents hétérogènes

Résumé

Alors que les agents LLM deviennent capables d'effectuer des tâches à horizon de plus en plus long, l'évaluation de leurs performances dans les systèmes économiques devient cruciale. Contrairement aux référentiels existants, qui évaluent principalement un agent unique interagissant avec un environnement passif, les systèmes économiques sont intrinsèquement multi-agents, exigeant que des agents autonomes communiquent, négocient et effectuent des transactions tout en poursuivant leurs propres objectifs sur des périodes prolongées. Nous présentons CoffeeBench, un référentiel pour évaluer les agents LLM dans une économie multi-agents à long horizon composée d'entreprises hétérogènes. Dans CoffeeBench, deux agriculteurs, deux torréfacteurs et deux détaillants gèrent leurs entreprises de manière autonome sur une simulation de 90 jours, chacun cherchant à maximiser son revenu net cumulé par la communication et les transactions tout en gérant sa trésorerie, ses stocks et sa tarification. Le modèle évalué contrôle un torréfacteur, tandis que les autres entreprises sont contrôlées par des agents de référence fixes. Parmi plusieurs LLM récents à poids ouverts et propriétaires, tous les modèles surpassent une ligne de base passive qui ne prend aucune action, la plupart obtenant un revenu net positif. L'analyse du comportement des agents révèle des différences substantielles dans l'interaction économique à long horizon : les modèles les plus performants communiquent plus activement avec les autres entreprises, tandis que Claude Haiku 4.5 présente un mode de défaillance par inactivité, choisissant à plusieurs reprises l'inaction malgré la production d'évaluations et de plans cohérents. Nous publions notre code et les trajectoires des agents pour soutenir les recherches futures.

English

As LLM agents become capable of increasingly long-horizon tasks, evaluating their performance in economic systems is becoming increasingly important. Unlike existing benchmarks that primarily evaluate a single agent interacting with a passive environment, economic systems are inherently multi-agent, requiring autonomous agents to communicate, negotiate, and transact while pursuing their own objectives over extended periods. We introduce CoffeeBench, a benchmark for evaluating LLM agents in a long-horizon multi-agent economy composed of heterogeneous firms. In CoffeeBench, two farmers, two roasters, and two retailers autonomously operate their businesses over a 90-day simulation, each seeking to maximize cumulative net income through communication and transactions while managing cash, inventory, and pricing. The evaluated model controls one coffee roaster, while the remaining firms are controlled by fixed reference agents. Across several recent open-weight and proprietary LLMs, all models outperform a passive baseline that takes no actions, with most achieving positive net income. Analysis of agent behavior reveals substantial differences in long-horizon economic interaction: higher-performing models communicate more actively with other firms, whereas Claude~Haiku~4.5 exhibits an idle-drift failure mode, repeatedly choosing inaction despite producing coherent assessments and plans. We release our code and agent trajectories to support future research.