AgentArk : Distiller l'intelligence multi-agents dans un seul agent de grand modèle de langage
AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent
February 3, 2026
papers.authors: Yinyi Luo, Yiqiao Jin, Weichen Yu, Mengqi Zhang, Srijan Kumar, Xiaoxiao Li, Weijie Xu, Xin Chen, Jindong Wang
cs.AI
papers.abstract
Alors que les systèmes multi-agents de grands modèles de langage (LLM) obtiennent des performances de raisonnement supérieures par des débats itératifs, leur déploiement pratique est limité par leur coût computationnel élevé et la propagation d'erreurs. Cet article propose AgentArk, un nouveau cadre permettant de distiller la dynamique multi-agents dans les poids d'un modèle unique, transformant ainsi efficacement les interactions explicites au moment du test en capacités implicites du modèle. Cela dote un agent unique de l'intelligence des systèmes multi-agents tout en restant efficace sur le plan computationnel. Plus précisément, nous étudions trois stratégies de distillation hiérarchique sur divers modèles, tâches, échelles et scénarios : le fine-tuning enrichi par le raisonnement ; l'augmentation basée sur les trajectoires ; et la distillation consciente du processus. En déplaçant la charge de calcul de l'inférence vers l'entraînement, les modèles distillés préservent l'efficacité d'un agent tout en présentant les solides performances de raisonnement et d'auto-correction de multiples agents. Ils démontrent en outre une robustesse et une généralisation accrues sur diverses tâches de raisonnement. Nous espérons que ces travaux pourront éclairer les futures recherches sur le développement multi-agent efficace et robuste. Notre code est disponible à l'adresse https://github.com/AIFrontierLab/AgentArk.
English
While large language model (LLM) multi-agent systems achieve superior reasoning performance through iterative debate, practical deployment is limited by their high computational cost and error propagation. This paper proposes AgentArk, a novel framework to distill multi-agent dynamics into the weights of a single model, effectively transforming explicit test-time interactions into implicit model capabilities. This equips a single agent with the intelligence of multi-agent systems while remaining computationally efficient. Specifically, we investigate three hierarchical distillation strategies across various models, tasks, scaling, and scenarios: reasoning-enhanced fine-tuning; trajectory-based augmentation; and process-aware distillation. By shifting the burden of computation from inference to training, the distilled models preserve the efficiency of one agent while exhibiting strong reasoning and self-correction performance of multiple agents. They further demonstrate enhanced robustness and generalization across diverse reasoning tasks. We hope this work can shed light on future research on efficient and robust multi-agent development. Our code is at https://github.com/AIFrontierLab/AgentArk.