再帰型マルチエージェントシステム

Recursive Multi-Agent Systems

April 28, 2026

著者: Xiyuan Yang, Jiaru Zou, Rui Pan, Ruizhong Qiu, Pan Lu, Shizhe Diao, Jindong Jiang, Hanghang Tong, Tong Zhang, Markus J. Buehler, Jingrui He, James Zou

cs.AI

要旨

再帰的またはループ構造を持つ言語モデルは近年、潜在状態に対して同一のモデル計算を反復的に適用することで推論を深化させる新たなスケーリング軸として登場している。本研究では、このスケーリング原理を単一モデルからマルチエージェントシステムへ拡張し、「エージェント協調そのものを再帰的にスケールさせることが可能か」という問いを立てる。そこで我々は、システム全体を統一的な潜在空間における再帰的計算として捉える再帰的マルチエージェントフレームワーク「RecursiveMAS」を提案する。RecursiveMASは軽量なRecursiveLinkモジュールを通じて異種エージェントを協調ループとして接続し、分布内潜在思考の生成とエージェント間の潜在状態転送を実現する。本フレームワークを最適化するため、再帰ラウンド間で共有される勾配ベースの信用割り当てを通じた反復的全システム共最適化のための内側-外側ループ学習アルゴリズムを開発した。時間計算量と学習ダイナミクスの理論分析により、RecursiveMASが従来のテキストベースMASより効率的であり、再帰的訓練中も安定した勾配を維持することを示す。実証実験では、4つの代表的なエージェント協調パターン下でRecursiveMASを具体化し、数学・科学・医学・検索・コード生成を含む9ベンチマークで評価した。先進的な単一/マルチエージェント及び再帰的計算ベースラインと比較し、RecursiveMASは平均精度8.3%向上、エンドツーエンド推論速度1.2倍～2.4倍向上、トークン使用量34.6%～75.6%削減を一貫して達成した。コードとデータはhttps://recursivemas.github.ioで公開されている。

English

Recursive or looped language models have recently emerged as a new scaling axis by iteratively refining the same model computation over latent states to deepen reasoning. We extend such scaling principle from a single model to multi-agent systems, and ask: Can agent collaboration itself be scaled through recursion? To this end, we introduce RecursiveMAS, a recursive multi-agent framework that casts the entire system as a unified latent-space recursive computation. RecursiveMAS connects heterogeneous agents as a collaboration loop through the lightweight RecursiveLink module, enabling in-distribution latent thoughts generation and cross-agent latent state transfer. To optimize our framework, we develop an inner-outer loop learning algorithm for iterative whole-system co-optimization through shared gradient-based credit assignment across recursion rounds. Theoretical analyses of runtime complexity and learning dynamics establish that RecursiveMAS is more efficient than standard text-based MAS and maintains stable gradients during recursive training. Empirically, we instantiate RecursiveMAS under 4 representative agent collaboration patterns and evaluate across 9 benchmarks spanning mathematics, science, medicine, search, and code generation. In comparison with advanced single/multi-agent and recursive computation baselines, RecursiveMAS consistently delivers an average accuracy improvement of 8.3%, together with 1.2times-2.4times end-to-end inference speedup, and 34.6%-75.6% token usage reduction. Code and Data are provided in https://recursivemas.github.io.