CoffeeBench: Benchmarking von Langzeit-LLM-Agenten in heterogenen Multi-Agenten-Ökonomien

Zusammenfassung

Da LLM-Agenten zunehmend in der Lage sind, langfristige Aufgaben zu bewältigen, wird die Bewertung ihrer Leistung in Wirtschaftssystemen immer wichtiger. Im Gegensatz zu bestehenden Benchmarks, die hauptsächlich einen einzelnen Agenten bewerten, der mit einer passiven Umgebung interagiert, sind Wirtschaftssysteme inhärent Multi-Agenten-Systeme, die autonome Agenten erfordern, die über längere Zeiträume hinweg kommunizieren, verhandeln und Transaktionen durchführen, während sie ihre eigenen Ziele verfolgen. Wir stellen CoffeeBench vor, einen Benchmark zur Bewertung von LLM-Agenten in einer langfristigen Multi-Agenten-Ökonomie, die aus heterogenen Unternehmen besteht. In CoffeeBench betreiben zwei Landwirte, zwei Röster und zwei Einzelhändler ihre Geschäfte autonom über einen 90-Tage-Simulationszeitraum, wobei jeder versucht, durch Kommunikation und Transaktionen das kumulierte Nettoeinkommen zu maximieren, während er Bargeld, Lagerbestände und Preise verwaltet. Das evaluierte Modell steuert einen Kaffeeröster, während die übrigen Unternehmen von festgelegten Referenzagenten gesteuert werden. Bei mehreren aktuellen Open-Weight- und proprietären LLMs übertreffen alle Modelle eine passive Basislinie, die keine Aktionen durchführt, wobei die meisten ein positives Nettoeinkommen erzielen. Die Analyse des Agentenverhaltens zeigt erhebliche Unterschiede in der langfristigen wirtschaftlichen Interaktion: Leistungsstärkere Modelle kommunizieren aktiver mit anderen Unternehmen, während Claude Haiku 4.5 einen Leerlauf-Drift-Fehlermodus aufweist, bei dem wiederholt Untätigkeit gewählt wird, obwohl kohärente Einschätzungen und Pläne erstellt werden. Wir veröffentlichen unseren Code und die Agentenverläufe, um zukünftige Forschung zu unterstützen.

English

As LLM agents become capable of increasingly long-horizon tasks, evaluating their performance in economic systems is becoming increasingly important. Unlike existing benchmarks that primarily evaluate a single agent interacting with a passive environment, economic systems are inherently multi-agent, requiring autonomous agents to communicate, negotiate, and transact while pursuing their own objectives over extended periods. We introduce CoffeeBench, a benchmark for evaluating LLM agents in a long-horizon multi-agent economy composed of heterogeneous firms. In CoffeeBench, two farmers, two roasters, and two retailers autonomously operate their businesses over a 90-day simulation, each seeking to maximize cumulative net income through communication and transactions while managing cash, inventory, and pricing. The evaluated model controls one coffee roaster, while the remaining firms are controlled by fixed reference agents. Across several recent open-weight and proprietary LLMs, all models outperform a passive baseline that takes no actions, with most achieving positive net income. Analysis of agent behavior reveals substantial differences in long-horizon economic interaction: higher-performing models communicate more actively with other firms, whereas Claude~Haiku~4.5 exhibits an idle-drift failure mode, repeatedly choosing inaction despite producing coherent assessments and plans. We release our code and agent trajectories to support future research.