왜 다중 에이전트 LLM 시스템은 실패하는가?

Why Do Multi-Agent LLM Systems Fail?

March 17, 2025

저자: Mert Cemri, Melissa Z. Pan, Shuyi Yang, Lakshya A. Agrawal, Bhavya Chopra, Rishabh Tiwari, Kurt Keutzer, Aditya Parameswaran, Dan Klein, Kannan Ramchandran, Matei Zaharia, Joseph E. Gonzalez, Ion Stoica

cs.AI

초록

다중 에이전트 시스템(MAS)에 대한 열기가 높아지고 있음에도 불구하고, 여러 LLM 에이전트가 협력하여 작업을 수행하는 MAS의 성능 향상은 단일 에이전트 프레임워크에 비해 인기 벤치마크에서 미미한 수준에 머물고 있습니다. 이러한 격차는 MAS의 효과를 방해하는 도전 과제들을 분석할 필요성을 강조합니다. 이 논문에서 우리는 MAS의 도전 과제에 대한 첫 번째 포괄적인 연구를 제시합니다. 우리는 150개 이상의 작업에 걸쳐 5개의 인기 있는 MAS 프레임워크를 분석하고, 6명의 전문가 인간 주석자들을 포함시켰습니다. 우리는 14가지 고유한 실패 모드를 식별하고 다양한 MAS 프레임워크에 적용 가능한 포괄적인 분류 체계를 제안합니다. 이 분류 체계는 연구당 3명의 전문가 주석자들 간의 합의를 통해 반복적으로 도출되었으며, Cohen's Kappa 점수 0.88을 달성했습니다. 이러한 세분화된 실패 모드는 (i) 명세 및 시스템 설계 실패, (ii) 에이전트 간 불일치, (iii) 작업 검증 및 종료의 3가지 범주로 구성됩니다. 확장 가능한 평가를 지원하기 위해 우리는 MASFT를 LLM-as-a-Judge와 통합했습니다. 또한 우리는 식별된 실패들이 쉽게 예방될 수 있는지 탐구하기 위해 두 가지 개입 방안을 제안합니다: 에이전트 역할의 개선된 명세와 강화된 오케스트레이션 전략. 우리의 연구 결과는 식별된 실패들이 더 복잡한 해결책을 필요로 한다는 것을 보여주며, 미래 연구를 위한 명확한 로드맵을 제시합니다. 우리는 데이터셋과 LLM 주석자를 오픈소스로 공개합니다.

English

Despite growing enthusiasm for Multi-Agent Systems (MAS), where multiple LLM agents collaborate to accomplish tasks, their performance gains across popular benchmarks remain minimal compared to single-agent frameworks. This gap highlights the need to analyze the challenges hindering MAS effectiveness. In this paper, we present the first comprehensive study of MAS challenges. We analyze five popular MAS frameworks across over 150 tasks, involving six expert human annotators. We identify 14 unique failure modes and propose a comprehensive taxonomy applicable to various MAS frameworks. This taxonomy emerges iteratively from agreements among three expert annotators per study, achieving a Cohen's Kappa score of 0.88. These fine-grained failure modes are organized into 3 categories, (i) specification and system design failures, (ii) inter-agent misalignment, and (iii) task verification and termination. To support scalable evaluation, we integrate MASFT with LLM-as-a-Judge. We also explore if identified failures could be easily prevented by proposing two interventions: improved specification of agent roles and enhanced orchestration strategies. Our findings reveal that identified failures require more complex solutions, highlighting a clear roadmap for future research. We open-source our dataset and LLM annotator.