Systèmes Multi-Agents Récursifs

Résumé

Les modèles de langage récursifs ou en boucle ont récemment émergé comme un nouvel axe de mise à l'échelle en raffinant itérativement le même calcul de modèle sur des états latents pour approfondir le raisonnement. Nous étendons ce principe de mise à l'échelle d'un modèle unique à des systèmes multi-agents, et posons la question : La collaboration entre agents peut-elle elle-même être mise à l'échelle par récursion ? À cette fin, nous introduisons RecursiveMAS, un framework multi-agent récursif qui considère l'ensemble du système comme un calcul récursif unifié dans un espace latent. RecursiveMAS connecte des agents hétérogènes en une boucle de collaboration via le module léger RecursiveLink, permettant la génération de pensées latentes dans la distribution et le transfert d'états latents inter-agents. Pour optimiser notre framework, nous développons un algorithme d'apprentissage à double boucle (interne-externe) pour une co-optimisation itérative du système entier via une attribution de crédit par gradient partagée entre les rounds de récursion. Des analyses théoriques de la complexité temporelle et de la dynamique d'apprentissage établissent que RecursiveMAS est plus efficace que les systèmes multi-agents standards basés sur le texte et maintient des gradients stables durant l'entraînement récursif. Empiriquement, nous instancions RecursiveMAS selon 4 schémas de collaboration d'agents représentatifs et évaluons sur 9 benchmarks couvrant les mathématiques, les sciences, la médecine, la recherche et la génération de code. Comparé à des systèmes de référence avancés mono/multi-agents et à calcul récursif, RecursiveMAS apporte constamment une amélioration moyenne de précision de 8,3 %, accompagnée d'une accélération de l'inférence de bout en bout de 1,2 à 2,4 fois, et d'une réduction de l'utilisation de tokens de 34,6 % à 75,6 %. Le code et les données sont disponibles sur https://recursivemas.github.io.

English

Recursive or looped language models have recently emerged as a new scaling axis by iteratively refining the same model computation over latent states to deepen reasoning. We extend such scaling principle from a single model to multi-agent systems, and ask: Can agent collaboration itself be scaled through recursion? To this end, we introduce RecursiveMAS, a recursive multi-agent framework that casts the entire system as a unified latent-space recursive computation. RecursiveMAS connects heterogeneous agents as a collaboration loop through the lightweight RecursiveLink module, enabling in-distribution latent thoughts generation and cross-agent latent state transfer. To optimize our framework, we develop an inner-outer loop learning algorithm for iterative whole-system co-optimization through shared gradient-based credit assignment across recursion rounds. Theoretical analyses of runtime complexity and learning dynamics establish that RecursiveMAS is more efficient than standard text-based MAS and maintains stable gradients during recursive training. Empirically, we instantiate RecursiveMAS under 4 representative agent collaboration patterns and evaluate across 9 benchmarks spanning mathematics, science, medicine, search, and code generation. In comparison with advanced single/multi-agent and recursive computation baselines, RecursiveMAS consistently delivers an average accuracy improvement of 8.3%, together with 1.2times-2.4times end-to-end inference speedup, and 34.6%-75.6% token usage reduction. Code and Data are provided in https://recursivemas.github.io.

Systèmes Multi-Agents Récursifs

Recursive Multi-Agent Systems

Résumé

Support