Multi-Agent-LLM's slagen er niet in elkaar te verkennen.

Samenvatting

Verkenning is essentieel voor betrouwbare autonomie in multi-agentsystemen, maar het blijft onduidelijk of agenten op basis van grote taalmodellen (LLM's) effectief kunnen verkennen wanneer ze met elkaar interageren. Wij tonen aan dat moderne LLM-agenten hier niet in slagen; ze vertonen vaak kortzichtige en gepolariseerde interactiepatronen die leiden tot suboptimale coördinatie en toegenomen regret. We formaliseren deze uitdaging als het Multi-Agent Exploratieprobleem, door het te modelleren als een gedeeltelijk waarneembaar stochastisch spel (POSG) waarin agenten peers moeten aftasten om hun capaciteiten af te leiden en effectieve interactiestrategieën te identificeren. Om dit aan te pakken introduceren we Multi-Agent Contextuele Exploratie (MACE), een lichtgewicht raamwerk dat expliciet exploratie bevordert via gestructureerde peerselectie. Zowel in contextuele als parametrische diversiteitsinstellingen verbetert MACE het exploratiegedrag en de prestaties op stroomafwaartse taken aanzienlijk. We tonen verder theoretisch aan dat de waarde van exploratie toeneemt met agentdiversiteit. Over het geheel genomen benadrukken onze resultaten een fundamentele beperking van huidige LLM-agenten en onderstrepen ze het belang van expliciet gestuurde exploratie voor betrouwbare multi-agent autonomie. Code wordt uitgebracht op https://github.com/deeplearning-wisc/mace.

English

Exploration is essential for reliable autonomy in multi-agent systems, yet it remains unclear whether large language model (LLM) agents can explore effectively when interacting with one another. We show that modern LLM agents fail to do so, often exhibiting myopic and polarized interaction patterns that lead to suboptimal coordination and increased regret. We formalize this challenge as the Multi-Agent Exploration problem, modeling it as a partially observable stochastic game (POSG) problem in which agents must probe peers to infer their capabilities and identify effective interaction strategies. To address this, we introduce Multi- Agent Contextual Exploration (MACE), a lightweight framework that explicitly promotes exploration through structured peer selection. Across both contextual and parametric diversity settings, MACE substantially improves exploration behavior and downstream task performance. We further show theoretically that the value of exploration increases with agent diversity. Overall, our results highlight a fundamental limitation of current LLM agents and underscore the importance of explicitly guided exploration for reliable multi-agent autonomy. Code will be released in https://github.com/deeplearning-wisc/mace