AgentArk: Destilando Inteligência Multiagente em um Único Agente de LLM
AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent
February 3, 2026
Autores: Yinyi Luo, Yiqiao Jin, Weichen Yu, Mengqi Zhang, Srijan Kumar, Xiaoxiao Li, Weijie Xu, Xin Chen, Jindong Wang
cs.AI
Resumo
Embora os sistemas de múltiplos agentes baseados em grandes modelos de linguagem (LLMs) alcancem desempenho de raciocínio superior por meio de debates iterativos, a implantação prática é limitada por seu alto custo computacional e pela propagação de erros. Este artigo propõe o AgentArk, uma nova estrutura para destilar a dinâmica de múltiplos agentes nos pesos de um único modelo, transformando efetivamente as interações explícitas em tempo de teste em capacidades implícitas do modelo. Isso equipa um único agente com a inteligência dos sistemas multiagentes, mantendo a eficiência computacional. Especificamente, investigamos três estratégias de destilação hierárquica em vários modelos, tarefas, escalas e cenários: *fine-tuning* aprimorado por raciocínio; aumento baseado em trajetória; e destilação consciente do processo. Ao transferir a carga computacional da inferência para o treinamento, os modelos destilados preservam a eficiência de um agente enquanto exibem um forte desempenho de raciocínio e autocorreção de múltiplos agentes. Eles demonstram ainda maior robustez e generalização em diversas tarefas de raciocínio. Esperamos que este trabalho possa lançar luz sobre pesquisas futuras no desenvolvimento de sistemas multiagentes eficientes e robustos. Nosso código está disponível em https://github.com/AIFrontierLab/AgentArk.
English
While large language model (LLM) multi-agent systems achieve superior reasoning performance through iterative debate, practical deployment is limited by their high computational cost and error propagation. This paper proposes AgentArk, a novel framework to distill multi-agent dynamics into the weights of a single model, effectively transforming explicit test-time interactions into implicit model capabilities. This equips a single agent with the intelligence of multi-agent systems while remaining computationally efficient. Specifically, we investigate three hierarchical distillation strategies across various models, tasks, scaling, and scenarios: reasoning-enhanced fine-tuning; trajectory-based augmentation; and process-aware distillation. By shifting the burden of computation from inference to training, the distilled models preserve the efficiency of one agent while exhibiting strong reasoning and self-correction performance of multiple agents. They further demonstrate enhanced robustness and generalization across diverse reasoning tasks. We hope this work can shed light on future research on efficient and robust multi-agent development. Our code is at https://github.com/AIFrontierLab/AgentArk.