Многоагентные большие языковые модели не способны к взаимному исследованию

Аннотация

Исследование является важным для надежной автономии в многоагентных системах, однако остается неясным, способны ли агенты на основе больших языковых моделей (LLM) эффективно исследовать при взаимодействии друг с другом. Мы показываем, что современные LLM-агенты не справляются с этим, часто демонстрируя близорукие и поляризованные шаблоны взаимодействия, которые приводят к неоптимальной координации и увеличению сожаления. Мы формализуем эту проблему как задачу многоагентного исследования, моделируя ее как задачу частично наблюдаемой стохастической игры (POSG), в которой агенты должны зондировать своих партнеров, чтобы выявить их возможности и определить эффективные стратегии взаимодействия. Для решения этой проблемы мы предлагаем Multi-Agent Contextual Exploration (MACE) — легковесную структуру, которая явно способствует исследованию путем структурированного выбора партнеров. Как в условиях контекстуального, так и параметрического разнообразия, MACE существенно улучшает исследовательское поведение и производительность последующих задач. Мы также теоретически показываем, что ценность исследования возрастает с увеличением разнообразия агентов. В целом, наши результаты подчеркивают фундаментальное ограничение современных LLM-агентов и подчеркивают важность явно направляемого исследования для надежной многоагентной автономии. Код будет опубликован по адресу https://github.com/deeplearning-wisc/mace.

English

Exploration is essential for reliable autonomy in multi-agent systems, yet it remains unclear whether large language model (LLM) agents can explore effectively when interacting with one another. We show that modern LLM agents fail to do so, often exhibiting myopic and polarized interaction patterns that lead to suboptimal coordination and increased regret. We formalize this challenge as the Multi-Agent Exploration problem, modeling it as a partially observable stochastic game (POSG) problem in which agents must probe peers to infer their capabilities and identify effective interaction strategies. To address this, we introduce Multi- Agent Contextual Exploration (MACE), a lightweight framework that explicitly promotes exploration through structured peer selection. Across both contextual and parametric diversity settings, MACE substantially improves exploration behavior and downstream task performance. We further show theoretically that the value of exploration increases with agent diversity. Overall, our results highlight a fundamental limitation of current LLM agents and underscore the importance of explicitly guided exploration for reliable multi-agent autonomy. Code will be released in https://github.com/deeplearning-wisc/mace