マルチエージェントLLMは相互探索に失敗する

要旨

探索はマルチエージェントシステムにおける信頼性の高い自律性にとって不可欠であるが、大規模言語モデル（LLM）エージェント同士が相互に作用する際に、効果的に探索できるかどうかは未だ明らかでない。本研究では、現代のLLMエージェントはそれができず、しばしば近視眼的で極端な相互作用パターンを示し、それが最適でない協調と後悔の増大を招くことを示す。我々はこの課題をマルチエージェント探索問題として定式化し、エージェントがピアを調査してその能力を推測し、効果的な相互作用戦略を特定しなければならない部分観測確率ゲーム（POSG）問題としてモデル化する。この問題に対処するため、我々はマルチエージェント文脈探索（MACE）を導入する。これは、構造化されたピア選択を通じて探索を明示的に促進する軽量フレームワークである。文脈的およびパラメトリック多様性の両方の設定において、MACEは探索行動と下流タスクのパフォーマンスを大幅に改善する。さらに、探索の価値はエージェントの多様性とともに増加することを理論的に示す。全体として、本結果は現在のLLMエージェントの根本的な限界を浮き彫りにし、信頼性の高いマルチエージェント自律性には明示的に誘導された探索が重要であることを強調する。コードは https://github.com/deeplearning-wisc/mace で公開される。

English

Exploration is essential for reliable autonomy in multi-agent systems, yet it remains unclear whether large language model (LLM) agents can explore effectively when interacting with one another. We show that modern LLM agents fail to do so, often exhibiting myopic and polarized interaction patterns that lead to suboptimal coordination and increased regret. We formalize this challenge as the Multi-Agent Exploration problem, modeling it as a partially observable stochastic game (POSG) problem in which agents must probe peers to infer their capabilities and identify effective interaction strategies. To address this, we introduce Multi- Agent Contextual Exploration (MACE), a lightweight framework that explicitly promotes exploration through structured peer selection. Across both contextual and parametric diversity settings, MACE substantially improves exploration behavior and downstream task performance. We further show theoretically that the value of exploration increases with agent diversity. Overall, our results highlight a fundamental limitation of current LLM agents and underscore the importance of explicitly guided exploration for reliable multi-agent autonomy. Code will be released in https://github.com/deeplearning-wisc/mace