AgentArk: Destillierung von Multi-Agenten-Intelligenz in einen einzelnen LLM-Agenten
AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent
February 3, 2026
papers.authors: Yinyi Luo, Yiqiao Jin, Weichen Yu, Mengqi Zhang, Srijan Kumar, Xiaoxiao Li, Weijie Xu, Xin Chen, Jindong Wang
cs.AI
papers.abstract
Während Multi-Agenten-Systeme großer Sprachmodelle (LLM) durch iterativen Dialog überlegene Reasoning-Leistungen erzielen, wird ihr praktischer Einsatz durch hohe Rechenkosten und Fehlerfortpflanzung eingeschränkt. Dieses Papier stellt AgentArk vor, einen neuartigen Rahmen zur Distillation von Multi-Agenten-Dynamiken in die Gewichte eines einzelnen Modells, wodurch explizite Interaktionen zur Laufzeit effektiv in implizite Modellfähigkeiten transformiert werden. Dies stattet einen einzelnen Agenten mit der Intelligenz von Multi-Agenten-Systemen aus, bei gleichbleibender Recheneffizienz. Konkret untersuchen wir drei hierarchische Distillationsstrategien in verschiedenen Modellen, Aufgaben, Skalierungen und Szenarien: reasoning-verbessertes Fine-Tuning, trajektorienbasierte Augmentierung und prozessbewusste Distillation. Indem die Rechenlast vom Inferenz- auf den Trainingszeitpunkt verlagert wird, bewahren die distillierten Modelle die Effizienz eines einzelnen Agenten und zeigen gleichzeitig die starken Reasoning- und Selbstkorrekturfähigkeiten mehrerer Agenten. Sie weisen zudem eine verbesserte Robustheit und Generalisierung über verschiedene Reasoning-Aufgaben hinweg auf. Wir hoffen, dass diese Arbeit zukünftige Forschung zu effizienten und robusten Multi-Agenten-Systemen bereichern kann. Unser Code ist unter https://github.com/AIFrontierLab/AgentArk verfügbar.
English
While large language model (LLM) multi-agent systems achieve superior reasoning performance through iterative debate, practical deployment is limited by their high computational cost and error propagation. This paper proposes AgentArk, a novel framework to distill multi-agent dynamics into the weights of a single model, effectively transforming explicit test-time interactions into implicit model capabilities. This equips a single agent with the intelligence of multi-agent systems while remaining computationally efficient. Specifically, we investigate three hierarchical distillation strategies across various models, tasks, scaling, and scenarios: reasoning-enhanced fine-tuning; trajectory-based augmentation; and process-aware distillation. By shifting the burden of computation from inference to training, the distilled models preserve the efficiency of one agent while exhibiting strong reasoning and self-correction performance of multiple agents. They further demonstrate enhanced robustness and generalization across diverse reasoning tasks. We hope this work can shed light on future research on efficient and robust multi-agent development. Our code is at https://github.com/AIFrontierLab/AgentArk.