AgentArk: Distillare l'intelligenza multi-agente in un singolo agente LLM
AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent
February 3, 2026
Autori: Yinyi Luo, Yiqiao Jin, Weichen Yu, Mengqi Zhang, Srijan Kumar, Xiaoxiao Li, Weijie Xu, Xin Chen, Jindong Wang
cs.AI
Abstract
Mentre i sistemi multi-agente basati su grandi modelli linguistici (LLM) raggiungono prestazioni di ragionamento superiori attraverso dibattiti iterativi, la diffusione pratica è limitata dall'elevato costo computazionale e dalla propagazione di errori. Questo articolo propone AgentArk, un framework innovativo che distilla le dinamiche multi-agente nei pesi di un singolo modello, trasformando efficacemente le interazioni esplicite al momento del test in capacità implicite del modello. Ciò equipaggia un singolo agente con l'intelligenza dei sistemi multi-agente mantenendo al contempo l'efficienza computazionale. Nello specifico, investigiamo tre strategie di distillazione gerarchica attraverso vari modelli, compiti, scalabilità e scenari: fine-tuning potenziato dal ragionamento; arricchimento basato su traiettorie; e distillazione consapevole del processo. Spostando l'onere computazionale dall'inferenza all'addestramento, i modelli distillati preservano l'efficienza di un singolo agente mentre esibiscono le solide prestazioni di ragionamento e autocorrezione di più agenti. Essi dimostrano inoltre una maggiore robustezza e generalizzazione su diversi compiti di ragionamento. Speriamo che questo lavoro possa illuminare la futura ricerca sullo sviluppo di sistemi multi-agente efficienti e robusti. Il nostro codice è disponibile su https://github.com/AIFrontierLab/AgentArk.
English
While large language model (LLM) multi-agent systems achieve superior reasoning performance through iterative debate, practical deployment is limited by their high computational cost and error propagation. This paper proposes AgentArk, a novel framework to distill multi-agent dynamics into the weights of a single model, effectively transforming explicit test-time interactions into implicit model capabilities. This equips a single agent with the intelligence of multi-agent systems while remaining computationally efficient. Specifically, we investigate three hierarchical distillation strategies across various models, tasks, scaling, and scenarios: reasoning-enhanced fine-tuning; trajectory-based augmentation; and process-aware distillation. By shifting the burden of computation from inference to training, the distilled models preserve the efficiency of one agent while exhibiting strong reasoning and self-correction performance of multiple agents. They further demonstrate enhanced robustness and generalization across diverse reasoning tasks. We hope this work can shed light on future research on efficient and robust multi-agent development. Our code is at https://github.com/AIFrontierLab/AgentArk.