Les LLM multi-agents échouent à s'explorer mutuellement.

Résumé

L'exploration est essentielle pour une autonomie fiable dans les systèmes multi-agents, mais il reste incertain que les agents basés sur de grands modèles de langage (LLM) puissent explorer efficacement lorsqu'ils interagissent entre eux. Nous montrons que les agents LLM modernes n'y parviennent pas, affichant souvent des schémas d'interaction myopes et polarisés qui conduisent à une coordination sous-optimale et à un regret accru. Nous formalisons ce défi comme le problème d'Exploration Multi-Agents, en le modélisant comme un problème de jeu stochastique partiellement observable (POSG) dans lequel les agents doivent sonder leurs pairs pour inférer leurs capacités et identifier des stratégies d'interaction efficaces. Pour y remédier, nous introduisons l'Exploration Contextuelle Multi-Agents (MACE), un cadre léger qui favorise explicitement l'exploration via une sélection structurée des pairs. Dans des contextes de diversité à la fois contextuelle et paramétrique, MACE améliore considérablement le comportement d'exploration et les performances des tâches en aval. Nous montrons en outre théoriquement que la valeur de l'exploration augmente avec la diversité des agents. Dans l'ensemble, nos résultats mettent en lumière une limitation fondamentale des agents LLM actuels et soulignent l'importance d'une exploration explicitement guidée pour une autonomie multi-agents fiable. Le code sera publié à l'adresse https://github.com/deeplearning-wisc/mace.

English

Exploration is essential for reliable autonomy in multi-agent systems, yet it remains unclear whether large language model (LLM) agents can explore effectively when interacting with one another. We show that modern LLM agents fail to do so, often exhibiting myopic and polarized interaction patterns that lead to suboptimal coordination and increased regret. We formalize this challenge as the Multi-Agent Exploration problem, modeling it as a partially observable stochastic game (POSG) problem in which agents must probe peers to infer their capabilities and identify effective interaction strategies. To address this, we introduce Multi- Agent Contextual Exploration (MACE), a lightweight framework that explicitly promotes exploration through structured peer selection. Across both contextual and parametric diversity settings, MACE substantially improves exploration behavior and downstream task performance. We further show theoretically that the value of exploration increases with agent diversity. Overall, our results highlight a fundamental limitation of current LLM agents and underscore the importance of explicitly guided exploration for reliable multi-agent autonomy. Code will be released in https://github.com/deeplearning-wisc/mace