Los LLMs multiagente no logran explorarse mutuamente.

Resumen

La exploración es esencial para lograr una autonomía fiable en sistemas multiagente, aunque aún no está claro si los agentes basados en modelos de lenguaje de gran escala (LLM) pueden explorar eficazmente al interactuar entre sí. Demostramos que los agentes LLM modernos no lo logran, y a menudo presentan patrones de interacción miopes y polarizados que conducen a una coordinación subóptima y a un mayor arrepentimiento. Formalizamos este desafío como el problema de Exploración Multiagente, modelándolo como un problema de juego estocástico parcialmente observable (POSG) en el que los agentes deben sondear a sus pares para inferir sus capacidades e identificar estrategias de interacción efectivas. Para abordarlo, presentamos la Exploración Contextual Multiagente (MACE), un marco ligero que promueve explícitamente la exploración mediante una selección estructurada de pares. Tanto en entornos de diversidad contextual como paramétrica, MACE mejora sustancialmente el comportamiento exploratorio y el rendimiento en tareas posteriores. Además, demostramos teóricamente que el valor de la exploración aumenta con la diversidad de los agentes. En conjunto, nuestros resultados destacan una limitación fundamental de los agentes LLM actuales y subrayan la importancia de una exploración guiada explícitamente para lograr una autonomía multiagente fiable. El código se publicará en https://github.com/deeplearning-wisc/mace.

English

Exploration is essential for reliable autonomy in multi-agent systems, yet it remains unclear whether large language model (LLM) agents can explore effectively when interacting with one another. We show that modern LLM agents fail to do so, often exhibiting myopic and polarized interaction patterns that lead to suboptimal coordination and increased regret. We formalize this challenge as the Multi-Agent Exploration problem, modeling it as a partially observable stochastic game (POSG) problem in which agents must probe peers to infer their capabilities and identify effective interaction strategies. To address this, we introduce Multi- Agent Contextual Exploration (MACE), a lightweight framework that explicitly promotes exploration through structured peer selection. Across both contextual and parametric diversity settings, MACE substantially improves exploration behavior and downstream task performance. We further show theoretically that the value of exploration increases with agent diversity. Overall, our results highlight a fundamental limitation of current LLM agents and underscore the importance of explicitly guided exploration for reliable multi-agent autonomy. Code will be released in https://github.com/deeplearning-wisc/mace