Sistemi Multi-Agente Ricorsivi

Abstract

I modelli linguistici ricorsivi o ad anello sono recentemente emersi come un nuovo asse di scalabilità, raffinando iterativamente lo stesso calcolo del modello su stati latenti per approfondire il ragionamento. Estendiamo tale principio di scalabilità da un singolo modello a sistemi multi-agente, chiedendoci: la collaborazione tra agenti può essere scalata attraverso la ricorsione? A tal fine, introduciamo RecursiveMAS, un framework multi-agente ricorsivo che interpreta l'intero sistema come un calcolo ricorsivo unificato nello spazio latente. RecursiveMAS collega agenti eterogenei come un anello di collaborazione attraverso il modulo leggero RecursiveLink, abilitando la generazione di pensieri latenti in-distribuzione e il trasferimento di stati latenti cross-agente. Per ottimizzare il nostro framework, sviluppiamo un algoritmo di apprendimento a doppio ciclo (interno-esterno) per la co-ottimizzazione iterativa dell'intero sistema attraverso l'assegnazione del credito basata su gradienti condivisi tra i round ricorsivi. Le analisi teoriche della complessità computazionale e delle dinamiche di apprendimento stabiliscono che RecursiveMAS è più efficiente dei MAS testuali standard e mantiene gradienti stabili durante l'addestramento ricorsivo. Empiricamente, istanziamo RecursiveMAS sotto 4 pattern di collaborazione rappresentativi e valutiamo su 9 benchmark che spaziano da matematica, scienze, medicina, ricerca e generazione di codice. Rispetto a baseline avanzate single/multi-agente e di calcolo ricorsivo, RecursiveMAS fornisce costantemente un miglioramento medio di accuratezza dell'8.3%, insieme a un'accelerazione inferenziale end-to-end di 1.2-2.4 volte e una riduzione dell'uso di token del 34.6%-75.6%. Codice e Dati sono disponibili su https://recursivemas.github.io.

English

Recursive or looped language models have recently emerged as a new scaling axis by iteratively refining the same model computation over latent states to deepen reasoning. We extend such scaling principle from a single model to multi-agent systems, and ask: Can agent collaboration itself be scaled through recursion? To this end, we introduce RecursiveMAS, a recursive multi-agent framework that casts the entire system as a unified latent-space recursive computation. RecursiveMAS connects heterogeneous agents as a collaboration loop through the lightweight RecursiveLink module, enabling in-distribution latent thoughts generation and cross-agent latent state transfer. To optimize our framework, we develop an inner-outer loop learning algorithm for iterative whole-system co-optimization through shared gradient-based credit assignment across recursion rounds. Theoretical analyses of runtime complexity and learning dynamics establish that RecursiveMAS is more efficient than standard text-based MAS and maintains stable gradients during recursive training. Empirically, we instantiate RecursiveMAS under 4 representative agent collaboration patterns and evaluate across 9 benchmarks spanning mathematics, science, medicine, search, and code generation. In comparison with advanced single/multi-agent and recursive computation baselines, RecursiveMAS consistently delivers an average accuracy improvement of 8.3%, together with 1.2times-2.4times end-to-end inference speedup, and 34.6%-75.6% token usage reduction. Code and Data are provided in https://recursivemas.github.io.

Sistemi Multi-Agente Ricorsivi

Recursive Multi-Agent Systems

Abstract

Support