DART-SD: 다중 턴 도구 호출 에이전트의 자기 증류를 위한 다이아몬드 토폴로지 인식 검색 및 튜닝

DART-SD: Diamond-topology Aware Retrieval and Tuning for Self-Distillation of Multi-Turn Tool-Calling Agents

August 19, 2026

저자: Hangrui Xu, Jiarui Wang, Yang Yang, Chuanbo Zhu, Fangda Chen, Ziqi Wu, Jingming Cai, Yan Song

cs.AI

초록

대규모 언어 모델(LLM)에 다중 턴 도구 호출 능력을 장착하는 것은 자율 에이전트를 구축하는 데 필수적이다. 그러나 전체 길이 궤적 모방에 의존하기 때문에 진전이 근본적으로 제한된다. 순서에 무관한 여러 하위 목표를 포함하는 작업의 경우, 최적 해 공간은 방대한 조합적 다이아몬드 격자를 형성한다. 이 풍부한 위상을 단일 궤적으로 강제하면 심각한 위상 붕괴가 발생하여, 유효한 대안적 탐색을 무차별적으로 벌점화하고 정책 다양성을 심각하게 저하시킨다. 이 문제를 해결하기 위해 우리는 전역적 강제에서 위상 안내 지역 보정으로 패러다임을 전환하는 새로운 프레임워크인 DART-SD(Diamond-topology Aware Retrieval and Tuning for Self-Distillation)를 제안한다. DART-SD는 먼저 실행 과정을 수렴형 상호작용-상태 전이 그래프(ISTG)로 모델링하여 성공 및 실패 탐색 경로의 고유한 다이아몬드 위상을 충실히 포착한다. 자율 롤아웃 과정에서 프레임워크는 임계 위상 분기점(CTB)을 식별하고 성공으로 검증된 복구 참조를 검색한다. 마지막으로, 우리는 CTB 안내 지역 감독을 통한 점진적 자기 증류 패러다임을 도입하여, 훈련 손실이 생성된 복구 단계에만 계산되도록 보장하고 유효한 추론 접두사가 파괴적인 경사도 업데이트로부터 엄격히 보호되도록 한다. 복잡한 다중 턴 도구 호출 벤치마크에 대한 실험은 DART-SD가 기존의 전체 궤적 베이스라인보다 훨씬 뛰어난 성능을 보임을 입증한다.

English

Equipping Large Language Models (LLMs) with multi-turn tool-calling capabilities is essential for building autonomous agents. However, progress is fundamentally limited by the reliance on full-length trajectory imitation. For tasks involving multiple order-independent sub-goals, the optimal solution space forms a vast combinatorial diamond lattice. Forcing this rich topology into monolithic trajectories causes a severe topological collapse, indiscriminately penalizing valid alternative explorations and severely degrading policy diversity. To address this, we propose DART-SD (Diamond-topology Aware Retrieval and Tuning for Self-Distillation), a novel framework that shifts the paradigm from global forcing to topology-guided localized correction. DART-SD first models the execution process as a converging Interaction-State Transition Graph (ISTG), faithfully capturing the inherent diamond topology of successful and failed exploratory paths. During autonomous rollouts, the framework identifies the Critical Topological Breakpoint (CTB) and retrieves success-supported recovery references. Finally, we introduce a progressive self-distillation paradigm through CTB-guided localized supervision, ensuring that the training loss is calculated exclusively on the generated recovery steps while strictly protecting the valid reasoning prefix from destructive gradient updates. Experiments on complex multi-turn tool-calling benchmarks demonstrate that DART-SD significantly outperforms traditional full-trajectory baselines.