CoMAS: Sistemi Multi-Agente Co-Evolventi tramite Ricompense per Interazione

CoMAS: Co-Evolving Multi-Agent Systems via Interaction Rewards

October 9, 2025

Autori: Xiangyuan Xue, Yifan Zhou, Guibin Zhang, Zaibin Zhang, Yijiang Li, Chen Zhang, Zhenfei Yin, Philip Torr, Wanli Ouyang, Lei Bai

cs.AI

Abstract

L'auto-evoluzione è un tema di ricerca centrale per consentire agli agenti basati su modelli linguistici di grandi dimensioni (LLM) di migliorare continuamente le proprie capacità dopo il pre-training. La ricerca recente ha assistito a una transizione da metodi privi di apprendimento per rinforzo (RL) a metodi basati su RL. Gli attuali approcci basati su RL si affidano a segnali di ricompensa esterni densi o estraggono segnali di ricompensa intrinseca dagli stessi LLM. Tuttavia, questi metodi divergono dai meccanismi di auto-evoluzione osservati nell'intelligenza umana, dove gli individui apprendono e migliorano attraverso discussioni e collaborazioni reciproche. In questo lavoro, introduciamo i Sistemi Multi-Agente Co-Evolventi (CoMAS), un nuovo framework che consente agli agenti di migliorare autonomamente apprendendo dalle interazioni inter-agente senza supervisione esterna. CoMAS genera ricompense intrinseche dalle dinamiche ricche delle discussioni, utilizza un meccanismo LLM-as-a-judge per formulare queste ricompense e ottimizza la politica di ciascun agente attraverso l'RL, consentendo così una co-evoluzione decentralizzata e scalabile. I risultati sperimentali dimostrano che CoMAS supera costantemente gli agenti non addestrati e raggiunge prestazioni all'avanguardia nella maggior parte delle configurazioni di valutazione. Studi di ablazione confermano la necessità di segnali di ricompensa basati sull'interazione e rivelano una promettente scalabilità all'aumentare del numero e della diversità degli agenti. Questi risultati stabiliscono CoMAS come un paradigma nuovo ed efficace per l'auto-evoluzione negli agenti basati su LLM.

English

Self-evolution is a central research topic in enabling large language model (LLM)-based agents to continually improve their capabilities after pretraining. Recent research has witnessed a transition from reinforcement learning (RL)-free to RL-based methods. Current RL-based methods either rely on dense external reward signals or extract intrinsic reward signals from LLMs themselves. However, these approaches diverge from the self-evolution mechanisms observed in human intelligence, where individuals learn and improve through mutual discussion and collaboration. In this work, we introduce Co-Evolving Multi-Agent Systems (CoMAS), a novel framework that enables agents to improve autonomously by learning from inter-agent interactions without external supervision. CoMAS generates intrinsic rewards from rich discussion dynamics, employs an LLM-as-a-judge mechanism to formulate these rewards, and optimizes each agent's policy through RL, thereby enabling decentralized and scalable co-evolution. Experimental results demonstrate that CoMAS consistently outperforms untrained agents and achieves state-of-the-art performance across most evaluation settings. Ablation studies confirm the necessity of interaction-based reward signals and reveal promising scalability as the number and diversity of agents increase. These findings establish CoMAS as a novel and effective paradigm for self-evolution in LLM-based agents.