독점적에서 오픈소스로: 에이전트 검색에서 다중 에이전트 프로토콜 증류를 통한 분포 격차 해소

초록

에이전트 검색은 대규모 언어 모델이 다단계 추론과 검색을 혼합하여 지식 집약적 작업을 해결할 수 있게 하지만, 결과 기반 강화 학습으로 이를 최적화하면 희소한 감독만 제공된다. 지식 증류는 더 조밀한 지침을 제공할 수 있으며, 강력한 추론 능력을 갖춘 고급 독점 모델은 유망한 교사가 된다. 독점 모델로부터 증류하면 이 감독 신호를 조밀하게 만들 수 있지만, 기존의 로짓 매칭은 숨겨진 로짓과 일치하지 않는 토크나이저로 인해 불가능한 반면, 원시 자연어 궤적 모방은 핵심 추론 능력이 아닌 피상적인 문체적 인공물만 전이한다. 이질적 증류 문제를 해결하고 분포 격차를 메우기 위해, 본 논문에서는 구조화되고 스타일이 정규화된 프로토콜을 중간 표현으로 사용하는 공동 증류 및 강화 학습 프레임워크인 다중 에이전트 프로토콜 증류(MAPD)를 제안한다. 오프라인 다중 에이전트 시스템은 각 질의를 분해하고, 지원 증거를 검색하며, 실패한 검색을 복구하고, 결과 탐색 궤적을 작업 유형, 추론 계획 및 추출적 근거 사실을 포함한 JSON 프로토콜로 변환한다. 훈련 중에는 프로토콜이 학생 정책의 특권 분기에만 제공되며, 이 분기의 토큰 분포는 희소 강화 학습 목표와 함께 조밀한 증류 신호를 제공한다. 7개의 QA 벤치마크에 대한 광범위한 평가에서 MAPD가 경쟁력 있는 증류 및 강화 학습을 일관되게 능가하여 Qwen3-1.7B에서 평균 39.4%, Qwen3-4B에서 44.4%의 성공률을 달성함을 보여준다. 결정적으로, 이 프레임워크는 다양한 독점 교사에 걸쳐 강건하게 일반화되면서 학생 정책의 스타일 표류와 장황성 저하를 효과적으로 완화한다.

English

Agentic search enables large language models to solve knowledge-intensive tasks by interleaving multi-step reasoning with retrieval, yet optimizing this with outcome-based reinforcement learning (RL) provides only sparse supervision. Knowledge distillation can supply denser guidance, and advanced proprietary models with their strong reasoning capabilities are promising teachers. While distilling from proprietary models can densify this supervisory signal, conventional logit-matching is precluded by hidden logits and mismatched tokenizers, whereas raw natural language trajectory imitation transfers superficial stylistic artifacts rather than core reasoning competence. To address the heterogeneous distillation problem and bridge the distribution gap, we propose Multi-Agent Protocol Distillation (MAPD), a joint distillation and RL framework uses a structured, style-normalized protocol as an intermediate representation. An offline multi-agent system (MAS) decomposes each query, retrieves supporting evidence, repairs failed searches, and converts the resulting exploration trace into a JSON protocol containing the task type, reasoning plan, and extractive grounding facts. During training, the protocol is provided only to a privileged branch of the student policy, whose token distributions furnish a dense distillation signal alongside the sparse RL objective. Extensive evaluations across seven QA benchmarks demonstrate that MAPD consistently outperforms competitive distillation and RL, achieving average success rates of 39.4\% on Qwen3-1.7B and 44.4\% on Qwen3-4B. Crucially, the framework generalizes robustly across diverse proprietary teachers while effectively mitigating the student policy from style drift and verbosity degeneration.