AgentArk: Дистилляция коллективного интеллекта мультиагентных систем в единый LLM-агент

AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent

February 3, 2026

Авторы: Yinyi Luo, Yiqiao Jin, Weichen Yu, Mengqi Zhang, Srijan Kumar, Xiaoxiao Li, Weijie Xu, Xin Chen, Jindong Wang

cs.AI

Аннотация

Хотя системы с множеством агентов на основе больших языковых моделей (LLM) демонстрируют превосходные результаты в рассуждениях благодаря итеративным дебатам, их практическое применение ограничено высокими вычислительными затратами и распространением ошибок. В данной статье предлагается AgentArk — новая фреймворк для дистилляции динамики множественных агентов в веса одной модели, эффективно преобразуя явные взаимодействия во время тестирования в неявные возможности модели. Это наделяет единственного агента интеллектом систем с множеством агентов, сохраняя вычислительную эффективность. В частности, мы исследуем три иерархические стратегии дистилляции для различных моделей, задач, масштабирования и сценариев: дообучение с усилением рассуждений; аугментация на основе траекторий; и процессно-ориентированная дистилляция. Перекладывая вычислительную нагрузку с этапа вывода на этап обучения, дистиллированные модели сохраняют эффективность одного агента, демонстрируя при этом мощные способности к рассуждениям и самокоррекции, характерные для множества агентов. Они также показывают повышенную устойчивость и способность к обобщению в разнообразных задачах на рассуждение. Мы надеемся, что эта работа послужит стимулом для будущих исследований в области разработки эффективных и устойчивых систем с множеством агентов. Наш код доступен по адресу https://github.com/AIFrontierLab/AgentArk.

English

While large language model (LLM) multi-agent systems achieve superior reasoning performance through iterative debate, practical deployment is limited by their high computational cost and error propagation. This paper proposes AgentArk, a novel framework to distill multi-agent dynamics into the weights of a single model, effectively transforming explicit test-time interactions into implicit model capabilities. This equips a single agent with the intelligence of multi-agent systems while remaining computationally efficient. Specifically, we investigate three hierarchical distillation strategies across various models, tasks, scaling, and scenarios: reasoning-enhanced fine-tuning; trajectory-based augmentation; and process-aware distillation. By shifting the burden of computation from inference to training, the distilled models preserve the efficiency of one agent while exhibiting strong reasoning and self-correction performance of multiple agents. They further demonstrate enhanced robustness and generalization across diverse reasoning tasks. We hope this work can shed light on future research on efficient and robust multi-agent development. Our code is at https://github.com/AIFrontierLab/AgentArk.