다중 에이전트 LLM들이 서로를 탐색하지 못한다

초록

다중 에이전트 시스템에서 신뢰할 수 있는 자율성을 위해 탐색은 필수적이지만, 대규모 언어 모델(LLM) 에이전트들이 서로 상호작용할 때 효과적으로 탐색할 수 있는지 여부는 여전히 불분명하다. 우리는 현대 LLM 에이전트들이 그렇게 하지 못하며, 종종 근시안적이고 양극화된 상호작용 패턴을 보여 차선의 조정과 증가된 후회로 이어짐을 보인다. 이 과제를 다중 에이전트 탐색 문제로 공식화하고, 에이전트들이 동료의 능력을 추론하고 효과적인 상호작용 전략을 식별하기 위해 탐색해야 하는 부분 관찰 확률적 게임(POSG) 문제로 모델링한다. 이를 해결하기 위해, 구조화된 동료 선택을 통해 탐색을 명시적으로 촉진하는 경량 프레임워크인 다중 에이전트 맥락적 탐색(MACE)을 도입한다. 맥락적 다양성과 파라미터 다양성 설정 모두에서 MACE는 탐색 행동과 하위 작업 성능을 실질적으로 개선한다. 또한 이론적으로 에이전트 다양성이 증가할수록 탐색의 가치가 높아짐을 보인다. 전반적으로, 우리의 결과는 현재 LLM 에이전트의 근본적 한계를 강조하며, 신뢰할 수 있는 다중 에이전트 자율성을 위해 명시적으로 유도된 탐색의 중요성을 강조한다. 코드는 https://github.com/deeplearning-wisc/mace에서 공개될 예정이다.

English

Exploration is essential for reliable autonomy in multi-agent systems, yet it remains unclear whether large language model (LLM) agents can explore effectively when interacting with one another. We show that modern LLM agents fail to do so, often exhibiting myopic and polarized interaction patterns that lead to suboptimal coordination and increased regret. We formalize this challenge as the Multi-Agent Exploration problem, modeling it as a partially observable stochastic game (POSG) problem in which agents must probe peers to infer their capabilities and identify effective interaction strategies. To address this, we introduce Multi- Agent Contextual Exploration (MACE), a lightweight framework that explicitly promotes exploration through structured peer selection. Across both contextual and parametric diversity settings, MACE substantially improves exploration behavior and downstream task performance. We further show theoretically that the value of exploration increases with agent diversity. Overall, our results highlight a fundamental limitation of current LLM agents and underscore the importance of explicitly guided exploration for reliable multi-agent autonomy. Code will be released in https://github.com/deeplearning-wisc/mace