AgentArk: 다중 에이전트 인텔리전스를 단일 LLM 에이전트로 응축하기

초록

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템은 반복적 논의를 통해 우수한 추론 성능을 달성하지만, 높은 계산 비용과 오류 전파로 인해 실제 적용에는 한계가 있습니다. 본 논문은 다중 에이전트 동역학을 단일 모델의 가중치로 응축하여 명시적인 실행 시 상호작용을 암묵적인 모델 능력으로 효과적으로 전환하는 새로운 프레임워크인 AgentArk를 제안합니다. 이를 통해 단일 에이전트가 계산 효율성을 유지하면서 다중 에이전트 시스템의 지능을 갖추도록 합니다. 구체적으로, 우리는 다양한 모델, 과제, 규모 및 시나리오에서 세 가지 계층적 응축 전략(추론 강화 미세 조정, 궤적 기반 증강, 과정 인식 응축)을 연구합니다. 계산 부담을 추론 단계에서 학습 단계로 전환함으로써, 응축된 모델은 단일 에이전트의 효율성을 유지하면서 다중 에이전트의 강력한 추론 및 자기 수정 성능을 나타냅니다. 또한 다양한 추론 과제에서 향상된 견고성과 일반화 능력을 보여줍니다. 본 연구가 효율적이고 견고한 다중 에이전트 개발에 관한 향후 연구에 통찰을 제공하기를 바랍니다. 코드는 https://github.com/AIFrontierLab/AgentArk 에서 확인할 수 있습니다.

English

While large language model (LLM) multi-agent systems achieve superior reasoning performance through iterative debate, practical deployment is limited by their high computational cost and error propagation. This paper proposes AgentArk, a novel framework to distill multi-agent dynamics into the weights of a single model, effectively transforming explicit test-time interactions into implicit model capabilities. This equips a single agent with the intelligence of multi-agent systems while remaining computationally efficient. Specifically, we investigate three hierarchical distillation strategies across various models, tasks, scaling, and scenarios: reasoning-enhanced fine-tuning; trajectory-based augmentation; and process-aware distillation. By shifting the burden of computation from inference to training, the distilled models preserve the efficiency of one agent while exhibiting strong reasoning and self-correction performance of multiple agents. They further demonstrate enhanced robustness and generalization across diverse reasoning tasks. We hope this work can shed light on future research on efficient and robust multi-agent development. Our code is at https://github.com/AIFrontierLab/AgentArk.

AgentArk: 다중 에이전트 인텔리전스를 단일 LLM 에이전트로 응축하기

AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent

초록

Support