Rekursive Multi-Agenten-Systeme

Zusammenfassung

Rekursive oder geschachtelte Sprachmodelle haben sich kürzlich als neue Skalierungsachse etabliert, indem sie dieselbe Modellberechnung iterativ über latente Zustände verfeinern, um das Reasoning zu vertiefen. Wir erweitern dieses Skalierungsprinzip von einem einzelnen Modell auf Multi-Agenten-Systeme und stellen die Frage: Kann Agentenkollaboration selbst durch Rekursion skaliert werden? Zu diesem Zweck führen wir RecursiveMAS ein, einen rekursiven Multi-Agenten-Rahmen, der das gesamte System als eine einheitliche latentraum-basierte rekursive Berechnung modelliert. RecursiveMAS verbindet heterogene Agenten durch das leichtgewichtige RecursiveLink-Modul zu einer Kollaborationsschleife, was die Erzeugung von In-Distribution-latenten Gedanken und den transfer von latenten Zuständen zwischen Agenten ermöglicht. Zur Optimierung unseres Frameworks entwickeln wir einen Inner-Outer-Loop-Lernalgorithmus zur iterativen Co-Optimierung des gesamten Systems durch eine gemeinsame gradientenbasierte Kreditzuweisung über Rekursionsrunden hinweg. Theoretische Analysen der Laufzeitkomplexität und Lern dynamiken belegen, dass RecursiveMAS effizienter ist als standardmäßige textbasierte MAS und während des rekursiven Trainings stabile Gradienten beibehält. Empirisch instanziieren wir RecursiveMAS unter vier repräsentativen Agentenkollaborationsmustern und evaluieren es über neun Benchmarks hinweg, die die Bereiche Mathematik, Naturwissenschaften, Medizin, Suche und Codegenerierung abdecken. Im Vergleich zu fortschrittlichen Single-/Multi-Agenten- und rekursiven Berechnungs-Baselines erzielt RecursiveMAS durchgängig eine durchschnittliche Genauigkeitssteigerung von 8,3 %, zusammen mit einer 1,2- bis 2,4-fachen Beschleunigung der Ende-zu-Ende-Inferenz und einer Reduktion der Token-Nutzung um 34,6 %–75,6 %. Code und Daten sind unter https://recursivemas.github.io verfügbar.

English

Recursive or looped language models have recently emerged as a new scaling axis by iteratively refining the same model computation over latent states to deepen reasoning. We extend such scaling principle from a single model to multi-agent systems, and ask: Can agent collaboration itself be scaled through recursion? To this end, we introduce RecursiveMAS, a recursive multi-agent framework that casts the entire system as a unified latent-space recursive computation. RecursiveMAS connects heterogeneous agents as a collaboration loop through the lightweight RecursiveLink module, enabling in-distribution latent thoughts generation and cross-agent latent state transfer. To optimize our framework, we develop an inner-outer loop learning algorithm for iterative whole-system co-optimization through shared gradient-based credit assignment across recursion rounds. Theoretical analyses of runtime complexity and learning dynamics establish that RecursiveMAS is more efficient than standard text-based MAS and maintains stable gradients during recursive training. Empirically, we instantiate RecursiveMAS under 4 representative agent collaboration patterns and evaluate across 9 benchmarks spanning mathematics, science, medicine, search, and code generation. In comparison with advanced single/multi-agent and recursive computation baselines, RecursiveMAS consistently delivers an average accuracy improvement of 8.3%, together with 1.2times-2.4times end-to-end inference speedup, and 34.6%-75.6% token usage reduction. Code and Data are provided in https://recursivemas.github.io.

Rekursive Multi-Agenten-Systeme

Recursive Multi-Agent Systems

Zusammenfassung

Support