Рекурсивные многоагентные системы

Аннотация

В последнее время рекурсивные или циклические языковые модели появились как новое направление масштабирования, позволяя итеративно уточнять одно и то же модельное вычисление над латентными состояниями для углубления рассуждений. Мы расширяем этот принцип масштабирования от одиночной модели до мульти-агентных систем и задаемся вопросом: можно ли масштабировать саму коллаборацию агентов через рекурсию? С этой целью мы представляем RecursiveMAS — рекурсивную мульти-агентную структуру, которая представляет всю систему как единое рекурсивное вычисление в латентном пространстве. RecursiveMAS соединяет гетерогенных агентов в коллаборационный цикл через легковесный модуль RecursiveLink, обеспечивая генерацию латентных мыслей in-distribution и передачу латентных состояний между агентами. Для оптимизации нашей структуры мы разрабатываем алгоритм обучения с внутренним-внешним циклом для итеративной совместной оптимизации всей системы через разделяемое градиентное распределение заслуг между раундами рекурсии. Теоретический анализ вычислительной сложности и динамики обучения показывает, что RecursiveMAS эффективнее стандартных текстовых мульти-агентных систем и сохраняет стабильные градиенты при рекурсивном обучении. Экспериментально мы реализуем RecursiveMAS в рамках 4 репрезентативных паттернов коллаборации агентов и оцениваем на 9 тестах, охватывающих математику, естественные науки, медицину, поиск и генерацию кода. По сравнению с передовыми одиночными/мульти-агентными и рекурсивными базовыми методами, RecursiveMAS стабильно демонстрирует среднее улучшение точности на 8.3%, вместе с ускорением end-to-end вывода в 1.2–2.4 раза и сокращением использования токенов на 34.6%–75.6%. Код и данные доступны по адресу https://recursivemas.github.io.

English

Recursive or looped language models have recently emerged as a new scaling axis by iteratively refining the same model computation over latent states to deepen reasoning. We extend such scaling principle from a single model to multi-agent systems, and ask: Can agent collaboration itself be scaled through recursion? To this end, we introduce RecursiveMAS, a recursive multi-agent framework that casts the entire system as a unified latent-space recursive computation. RecursiveMAS connects heterogeneous agents as a collaboration loop through the lightweight RecursiveLink module, enabling in-distribution latent thoughts generation and cross-agent latent state transfer. To optimize our framework, we develop an inner-outer loop learning algorithm for iterative whole-system co-optimization through shared gradient-based credit assignment across recursion rounds. Theoretical analyses of runtime complexity and learning dynamics establish that RecursiveMAS is more efficient than standard text-based MAS and maintains stable gradients during recursive training. Empirically, we instantiate RecursiveMAS under 4 representative agent collaboration patterns and evaluate across 9 benchmarks spanning mathematics, science, medicine, search, and code generation. In comparison with advanced single/multi-agent and recursive computation baselines, RecursiveMAS consistently delivers an average accuracy improvement of 8.3%, together with 1.2times-2.4times end-to-end inference speedup, and 34.6%-75.6% token usage reduction. Code and Data are provided in https://recursivemas.github.io.

Рекурсивные многоагентные системы

Recursive Multi-Agent Systems

Аннотация

Support