Sistemas Multiagente Recursivos

Resumen

Los modelos de lenguaje recursivos o en bucle han surgido recientemente como un nuevo eje de escalado al refinar iterativamente el mismo cómputo del modelo sobre estados latentes para profundizar el razonamiento. Extendemos este principio de escalado desde un modelo único a sistemas multiagente, y nos preguntamos: ¿Puede la colaboración entre agentes escalarse mediante recursión? Con este fin, presentamos RecursiveMAS, un marco multiagente recursivo que plantea todo el sistema como un cómputo recursivo unificado en un espacio latente. RecursiveMAS conecta agentes heterogéneos como un bucle de colaboración a través del módulo ligero RecursiveLink, permitiendo la generación de pensamientos latentes dentro de la distribución y la transferencia de estados latentes entre agentes. Para optimizar nuestro marco, desarrollamos un algoritmo de aprendizaje de bucle interno-externo para la co-optimización iterativa de todo el sistema mediante la asignación de crédito basada en gradientes compartidos a través de rondas recursivas. Los análisis teóricos de la complejidad del tiempo de ejecución y la dinámica de aprendizaje establecen que RecursiveMAS es más eficiente que los MAS basados en texto estándar y mantiene gradientes estables durante el entrenamiento recursivo. Empíricamente, instanciamos RecursiveMAS bajo 4 patrones de colaboración de agentes representativos y evaluamos en 9 benchmarks que abarcan matemáticas, ciencias, medicina, búsqueda y generación de código. En comparación con líneas base avanzadas de cómputo único/multiagente y recursivo, RecursiveMAS ofrece consistentemente una mejora promedio de precisión del 8.3%, junto con una aceleración de inferencia de extremo a extremo de 1.2x a 2.4x, y una reducción del uso de tokens del 34.6% al 75.6%. El código y los datos se proporcionan en https://recursivemas.github.io.

English

Recursive or looped language models have recently emerged as a new scaling axis by iteratively refining the same model computation over latent states to deepen reasoning. We extend such scaling principle from a single model to multi-agent systems, and ask: Can agent collaboration itself be scaled through recursion? To this end, we introduce RecursiveMAS, a recursive multi-agent framework that casts the entire system as a unified latent-space recursive computation. RecursiveMAS connects heterogeneous agents as a collaboration loop through the lightweight RecursiveLink module, enabling in-distribution latent thoughts generation and cross-agent latent state transfer. To optimize our framework, we develop an inner-outer loop learning algorithm for iterative whole-system co-optimization through shared gradient-based credit assignment across recursion rounds. Theoretical analyses of runtime complexity and learning dynamics establish that RecursiveMAS is more efficient than standard text-based MAS and maintains stable gradients during recursive training. Empirically, we instantiate RecursiveMAS under 4 representative agent collaboration patterns and evaluate across 9 benchmarks spanning mathematics, science, medicine, search, and code generation. In comparison with advanced single/multi-agent and recursive computation baselines, RecursiveMAS consistently delivers an average accuracy improvement of 8.3%, together with 1.2times-2.4times end-to-end inference speedup, and 34.6%-75.6% token usage reduction. Code and Data are provided in https://recursivemas.github.io.

Sistemas Multiagente Recursivos

Recursive Multi-Agent Systems

Resumen

Support