Контекстное обучение для многоагентного обсуждения
Context Learning for Multi-Agent Discussion
February 2, 2026
Авторы: Xingyuan Hua, Sheng Yue, Xinyi Li, Yizhe Zhao, Jinrui Zhang, Ju Ren
cs.AI
Аннотация
Метод многоагентного обсуждения (MAD) в последнее время привлекает все больше внимания, где несколько экземпляров больших языковых моделей совместно решают проблемы посредством структурированной дискуссии. Однако мы обнаружили, что современные методы MAD легко страдают от несогласованности обсуждения, когда языковые модели не могут прийти к последовательному решению из-за рассогласования их индивидуальных контекстов.
В данной статье мы представляем метод обучения контекста для множества языковых моделей (M2CL), который обучает генератор контекста для каждого агента, способного динамически генерировать контекстные инструкции для каждого раунда обсуждения посредством автоматической организации и уточнения информации. В частности, основываясь на наших теоретических инсайтах о контекстных инструкциях, M2CL обучает генераторы управлять согласованностью контекста и расхождениями выходных данных с помощью тщательно разработанного самоадаптивного механизма.
Это позволяет языковым моделям избегать преждевременной сходимости к шуму большинства и постепенно достигать верного консенсуса. Мы оцениваем M2CL на сложных задачах, включая академические рассуждения, воплощенные задачи и мобильное управление. Результаты показывают, что производительность M2CL значительно превосходит существующие методы на 20–50%, одновременно демонстрируя благоприятную трансферабельность и вычислительную эффективность.
English
Multi-Agent Discussion (MAD) has garnered increasing attention very recently, where multiple LLM instances collaboratively solve problems via structured discussion. However, we find that current MAD methods easily suffer from discussion inconsistency, LLMs fail to reach a coherent solution, due to the misalignment between their individual contexts.In this paper, we introduce a multi-LLM context learning method (M2CL) that learns a context generator for each agent, capable of dynamically generating context instructions per discussion round via automatic information organization and refinement. Specifically, inspired by our theoretical insights on the context instruction, M2CL train the generators to control context coherence and output discrepancies via a carefully crafted self-adaptive mechanism.It enables LLMs to avoid premature convergence on majority noise and progressively reach the correct consensus. We evaluate M2CL on challenging tasks, including academic reasoning, embodied tasks, and mobile control. The results show that the performance of M2CL significantly surpasses existing methods by 20%--50%, while enjoying favorable transferability and computational efficiency.