Recursieve Multi-Agent Systemen

Samenvatting

Recursieve of geloopte taalmodellen zijn recent naar voren gekomen als een nieuwe schaalas door iteratief dezelfde modelberekening over latente toestanden te verfijnen om redenering te verdiepen. Wij breiden dit schaalprincipe uit van een enkel model naar multi-agent systemen, en vragen: Kan agentcollaboratie zelf worden opgeschaald door recursie? Hiertoe introduceren wij RecursiveMAS, een recursief multi-agent raamwerk dat het gehele systeem als een verenigde latentieruimte-recursieve berekening modelleert. RecursiveMAS verbindt heterogene agenten als een collaboratielus via de lichtgewicht RecursiveLink module, waardoor in-distributie generatie van latente gedachten en overdracht van latente toestanden tussen agenten mogelijk wordt. Om ons raamwerk te optimaliseren, ontwikkelen wij een binnen-buitenste-lus-leeralgoritme voor iteratieve co-optimalisatie van het gehele systeem via gedeelde op gradienten gebaseerde credit assignment over recursierondes. Theoretische analyses van runtimecomplexiteit en leer dynamica tonen aan dat RecursiveMAS efficiënter is dan standaard op tekst gebaseerde MAS en stabiele gradienten behoudt tijdens recursieve training. Empirisch instantiëren wij RecursiveMAS onder 4 representatieve agentcollaboratiepatronen en evalueren over 9 benchmarks in wiskunde, wetenschap, geneeskunde, zoeken en codegeneratie. In vergelijking met geavanceerde enkel-/multi-agent- en recursieve berekenings-baselines, levert RecursiveMAS consequent een gemiddelde nauwkeurigheidsverbetering van 8,3%, samen met een 1,2x-2,4x end-to-end inferentieversnelling en een vermindering van tokengebruik met 34,6%-75,6%. Code en Data zijn beschikbaar op https://recursivemas.github.io.

English

Recursive or looped language models have recently emerged as a new scaling axis by iteratively refining the same model computation over latent states to deepen reasoning. We extend such scaling principle from a single model to multi-agent systems, and ask: Can agent collaboration itself be scaled through recursion? To this end, we introduce RecursiveMAS, a recursive multi-agent framework that casts the entire system as a unified latent-space recursive computation. RecursiveMAS connects heterogeneous agents as a collaboration loop through the lightweight RecursiveLink module, enabling in-distribution latent thoughts generation and cross-agent latent state transfer. To optimize our framework, we develop an inner-outer loop learning algorithm for iterative whole-system co-optimization through shared gradient-based credit assignment across recursion rounds. Theoretical analyses of runtime complexity and learning dynamics establish that RecursiveMAS is more efficient than standard text-based MAS and maintains stable gradients during recursive training. Empirically, we instantiate RecursiveMAS under 4 representative agent collaboration patterns and evaluate across 9 benchmarks spanning mathematics, science, medicine, search, and code generation. In comparison with advanced single/multi-agent and recursive computation baselines, RecursiveMAS consistently delivers an average accuracy improvement of 8.3%, together with 1.2times-2.4times end-to-end inference speedup, and 34.6%-75.6% token usage reduction. Code and Data are provided in https://recursivemas.github.io.

Recursieve Multi-Agent Systemen

Recursive Multi-Agent Systems

Samenvatting

Support