Waarom falen multi-agent LLM-systemen?

Why Do Multi-Agent LLM Systems Fail?

March 17, 2025

Auteurs: Mert Cemri, Melissa Z. Pan, Shuyi Yang, Lakshya A. Agrawal, Bhavya Chopra, Rishabh Tiwari, Kurt Keutzer, Aditya Parameswaran, Dan Klein, Kannan Ramchandran, Matei Zaharia, Joseph E. Gonzalez, Ion Stoica

cs.AI

Samenvatting

Ondanks de groeiende enthousiasme voor Multi-Agent Systemen (MAS), waarbij meerdere LLM-agenten samenwerken om taken te voltooien, blijven hun prestatieverbeteringen op populaire benchmarks minimaal in vergelijking met single-agent frameworks. Deze kloof onderstreept de noodzaak om de uitdagingen die de effectiviteit van MAS belemmeren, te analyseren. In dit artikel presenteren we de eerste uitgebreide studie naar MAS-uitdagingen. We analyseren vijf populaire MAS-frameworks over meer dan 150 taken, met de inzet van zes ervaren menselijke annotators. We identificeren 14 unieke faalmodi en stellen een uitgebreide taxonomie voor die toepasbaar is op verschillende MAS-frameworks. Deze taxonomie ontstaat iteratief op basis van overeenstemming tussen drie expert-annotators per studie, met een Cohen's Kappa-score van 0,88. Deze fijnmazige faalmodi zijn georganiseerd in drie categorieën: (i) specificatie- en systeemontwerpfouten, (ii) misalignement tussen agenten, en (iii) taakverificatie en -beëindiging. Om schaalbare evaluatie te ondersteunen, integreren we MASFT met LLM-as-a-Judge. We onderzoeken ook of geïdentificeerde fouten eenvoudig kunnen worden voorkomen door twee interventies voor te stellen: verbeterde specificatie van agentrollen en versterkte orkestratiestrategieën. Onze bevindingen tonen aan dat geïdentificeerde fouten complexere oplossingen vereisen, wat een duidelijk onderzoekspad voor toekomstig onderzoek markeert. We maken onze dataset en LLM-annotator openbaar.

English

Despite growing enthusiasm for Multi-Agent Systems (MAS), where multiple LLM agents collaborate to accomplish tasks, their performance gains across popular benchmarks remain minimal compared to single-agent frameworks. This gap highlights the need to analyze the challenges hindering MAS effectiveness. In this paper, we present the first comprehensive study of MAS challenges. We analyze five popular MAS frameworks across over 150 tasks, involving six expert human annotators. We identify 14 unique failure modes and propose a comprehensive taxonomy applicable to various MAS frameworks. This taxonomy emerges iteratively from agreements among three expert annotators per study, achieving a Cohen's Kappa score of 0.88. These fine-grained failure modes are organized into 3 categories, (i) specification and system design failures, (ii) inter-agent misalignment, and (iii) task verification and termination. To support scalable evaluation, we integrate MASFT with LLM-as-a-Judge. We also explore if identified failures could be easily prevented by proposing two interventions: improved specification of agent roles and enhanced orchestration strategies. Our findings reveal that identified failures require more complex solutions, highlighting a clear roadmap for future research. We open-source our dataset and LLM annotator.