LLMs multiagentes falham em se explorar mutuamente.

Resumo

A exploração é essencial para a autonomia confiável em sistemas multiagente, mas ainda não está claro se agentes baseados em grandes modelos de linguagem (LLMs) conseguem explorar de forma eficaz ao interagir entre si. Mostramos que agentes LLM modernos falham nessa tarefa, frequentemente exibindo padrões de interação míopes e polarizados que levam a coordenação subótima e aumento do arrependimento. Formalizamos esse desafio como o problema de Exploração Multiagente, modelando-o como um problema de jogo estocástico parcialmente observável (POSG), no qual os agentes devem sondar seus pares para inferir suas capacidades e identificar estratégias de interação eficazes. Para lidar com isso, apresentamos o MACE (Multi-Agent Contextual Exploration), uma estrutura leve que promove explicitamente a exploração por meio da seleção estruturada de pares. Tanto em configurações de diversidade contextual quanto paramétrica, o MACE melhora substancialmente o comportamento exploratório e o desempenho em tarefas subsequentes. Além disso, mostramos teoricamente que o valor da exploração aumenta com a diversidade dos agentes. De modo geral, nossos resultados destacam uma limitação fundamental dos agentes LLM atuais e reforçam a importância da exploração explicitamente guiada para a autonomia confiável em sistemas multiagente. O código será disponibilizado em https://github.com/deeplearning-wisc/mace.

English

Exploration is essential for reliable autonomy in multi-agent systems, yet it remains unclear whether large language model (LLM) agents can explore effectively when interacting with one another. We show that modern LLM agents fail to do so, often exhibiting myopic and polarized interaction patterns that lead to suboptimal coordination and increased regret. We formalize this challenge as the Multi-Agent Exploration problem, modeling it as a partially observable stochastic game (POSG) problem in which agents must probe peers to infer their capabilities and identify effective interaction strategies. To address this, we introduce Multi- Agent Contextual Exploration (MACE), a lightweight framework that explicitly promotes exploration through structured peer selection. Across both contextual and parametric diversity settings, MACE substantially improves exploration behavior and downstream task performance. We further show theoretically that the value of exploration increases with agent diversity. Overall, our results highlight a fundamental limitation of current LLM agents and underscore the importance of explicitly guided exploration for reliable multi-agent autonomy. Code will be released in https://github.com/deeplearning-wisc/mace