Sistemas Multiagente Recursivos

Resumo

Modelos de linguagem recursivos ou em loop surgiram recentemente como um novo eixo de escalonamento, refinando iterativamente o mesmo cálculo do modelo sobre estados latentes para aprofundar o raciocínio. Estendemos esse princípio de escalonamento de um único modelo para sistemas multiagente e questionamos: A própria colaboração entre agentes pode ser escalada através de recursão? Para isso, introduzimos o RecursiveMAS, uma estrutura multiagente recursiva que transforma todo o sistema em um cálculo recursivo unificado no espaço latente. O RecursiveMAS conecta agentes heterogêneos como um loop de colaboração através do módulo leve RecursiveLink, permitindo a geração de pensamentos latentes dentro da distribuição e a transferência de estados latentes entre agentes. Para otimizar nossa estrutura, desenvolvemos um algoritmo de aprendizado de loop interno-externo para co-otimização iterativa de todo o sistema através da atribuição de crédito baseada em gradiente compartilhado entre rodadas recursivas. Análises teóricas da complexidade de tempo de execução e da dinâmica de aprendizado estabelecem que o RecursiveMAS é mais eficiente do que os MAS baseados em texto padrão e mantém gradientes estáveis durante o treinamento recursivo. Empiricamente, instanciamos o RecursiveMAS sob 4 padrões representativos de colaboração de agentes e avaliamos em 9 benchmarks abrangendo matemática, ciências, medicina, pesquisa e geração de código. Em comparação com baselines avançados de agente único/multiagente e computação recursiva, o RecursiveMAS proporciona consistentemente uma melhoria média de precisão de 8,3%, juntamente com uma aceleração de inferência de ponta a ponta de 1,2x a 2,4x, e uma redução de uso de tokens de 34,6% a 75,6%. Código e Dados são fornecidos em https://recursivemas.github.io.

English

Recursive or looped language models have recently emerged as a new scaling axis by iteratively refining the same model computation over latent states to deepen reasoning. We extend such scaling principle from a single model to multi-agent systems, and ask: Can agent collaboration itself be scaled through recursion? To this end, we introduce RecursiveMAS, a recursive multi-agent framework that casts the entire system as a unified latent-space recursive computation. RecursiveMAS connects heterogeneous agents as a collaboration loop through the lightweight RecursiveLink module, enabling in-distribution latent thoughts generation and cross-agent latent state transfer. To optimize our framework, we develop an inner-outer loop learning algorithm for iterative whole-system co-optimization through shared gradient-based credit assignment across recursion rounds. Theoretical analyses of runtime complexity and learning dynamics establish that RecursiveMAS is more efficient than standard text-based MAS and maintains stable gradients during recursive training. Empirically, we instantiate RecursiveMAS under 4 representative agent collaboration patterns and evaluate across 9 benchmarks spanning mathematics, science, medicine, search, and code generation. In comparison with advanced single/multi-agent and recursive computation baselines, RecursiveMAS consistently delivers an average accuracy improvement of 8.3%, together with 1.2times-2.4times end-to-end inference speedup, and 34.6%-75.6% token usage reduction. Code and Data are provided in https://recursivemas.github.io.

Sistemas Multiagente Recursivos

Recursive Multi-Agent Systems

Resumo

Support