재귀적 다중 에이전트 시스템

초록

최근 등장한 재귀적 또는 순환 언어 모델은 잠재 상태에 대해 동일한 모델 계산을 반복적으로 개선하여 추론 깊이를 확장하는 새로운 스케일링 축으로 주목받고 있다. 본 연구에서는 이러한 스케일링 원리를 단일 모델에서 다중 에이전트 시스템으로 확장하여, 에이전트 협업 자체를 재귀를 통해 확장할 수 있는지 탐구한다. 이를 위해 전체 시스템을 통합된 잠재 공간 재귀 계산으로 구성하는 재귀적 다중 에이전트 프레임워크 RecursiveMAS를 제안한다. RecursiveMAS는 경량의 RecursiveLink 모듈을 통해 이기종 에이전트들을 협업 순환구조로 연결하여, 분포 내 잠재 사고 생성과 에이전트 간 잠재 상태 전달을 가능하게 한다. 프레임워크 최적화를 위해 재귀 단계 간 공유 그래디언트 기반 신용 할당을 통한 반복적 전체 시스템 공동 최적화를 위한 내부-외부 루프 학습 알고리즘을 개발한다. 실행 시간 복잡도와 학습 동역학에 대한 이론적 분석을 통해 RecursiveMAS가 기존 텍스트 기반 다중 에이전트 시스템보다 효율적이며 재귀 학습 동안 안정적인 그래디언트를 유지함을 입증한다. 실험적으로 4가지 대표적 에이전트 협업 패턴 하에서 RecursiveMAS를 구현하고, 수학, 과학, 의학, 검색, 코드 생성 분야의 9개 벤치마크에서 평가한다. 고급 단일/다중 에이전트 및 재귀 계산 베이스라인 대비 RecursiveMAS는 평균 8.3% 정확도 향상, 1.2배~2.4배의 종단 간 추론 가속화, 34.6%~75.6%의 토큰 사용량 감소를 지속적으로 달성한다. 코드와 데이터는 https://recursivemas.github.io에서 제공된다.

English

Recursive or looped language models have recently emerged as a new scaling axis by iteratively refining the same model computation over latent states to deepen reasoning. We extend such scaling principle from a single model to multi-agent systems, and ask: Can agent collaboration itself be scaled through recursion? To this end, we introduce RecursiveMAS, a recursive multi-agent framework that casts the entire system as a unified latent-space recursive computation. RecursiveMAS connects heterogeneous agents as a collaboration loop through the lightweight RecursiveLink module, enabling in-distribution latent thoughts generation and cross-agent latent state transfer. To optimize our framework, we develop an inner-outer loop learning algorithm for iterative whole-system co-optimization through shared gradient-based credit assignment across recursion rounds. Theoretical analyses of runtime complexity and learning dynamics establish that RecursiveMAS is more efficient than standard text-based MAS and maintains stable gradients during recursive training. Empirically, we instantiate RecursiveMAS under 4 representative agent collaboration patterns and evaluate across 9 benchmarks spanning mathematics, science, medicine, search, and code generation. In comparison with advanced single/multi-agent and recursive computation baselines, RecursiveMAS consistently delivers an average accuracy improvement of 8.3%, together with 1.2times-2.4times end-to-end inference speedup, and 34.6%-75.6% token usage reduction. Code and Data are provided in https://recursivemas.github.io.

재귀적 다중 에이전트 시스템

Recursive Multi-Agent Systems

초록

Support