プロプライエタリからオープンソースへ：エージェンティック検索におけるマルチエージェントプロトコル蒸留による配布ギャップの橋渡し

要旨

エージェント的検索は、大規模言語モデルがマルチステップ推論と検索を交互に行うことで知識集約型タスクを解決することを可能にするが、これを結果ベースの強化学習で最適化すると疎な監督信号しか得られない。知識蒸留により密なガイダンスを提供でき、強力な推論能力を持つ高度なプロプライエタリモデルは有望な教師となる。プロプライエタリモデルからの蒸留はこの監督信号を密にできるが、従来のロジットマッチングは隠されたロジットやトークナイザの不一致により不可能であり、生の自然言語軌跡の模倣は核となる推論能力ではなく表面的なスタイル的アーティファクトを転移させる。この異種蒸留問題に対処し分布ギャップを埋めるために、我々はマルチエージェントプロトコル蒸留（MAPD）を提案する。これは結合蒸留・RLフレームワークであり、構造化されスタイル正規化されたプロトコルを中間表現として使用する。オフラインのマルチエージェントシステム（MAS）が各クエリを分解し、証拠を検索し、失敗した検索を修復し、結果として得られる探索軌跡を、タスクタイプ、推論計画、抽出型根拠事実を含むJSONプロトコルに変換する。訓練中、このプロトコルは学生ポリシーの特権ブランチにのみ提供され、そのトークン分布は疎なRL目標とともに密な蒸留信号を与える。7つのQAベンチマークにわたる広範な評価により、MAPDが競合する蒸留およびRL手法を一貫して上回り、Qwen3-1.7Bでは平均成功率39.4％、Qwen3-4Bでは44.4％を達成することが示された。さらに重要なのは、このフレームワークが多様なプロプライエタリ教師に対して頑健に汎化し、学生ポリシーのスタイルドリフトや冗長性劣化を効果的に抑制する点である。

English

Agentic search enables large language models to solve knowledge-intensive tasks by interleaving multi-step reasoning with retrieval, yet optimizing this with outcome-based reinforcement learning (RL) provides only sparse supervision. Knowledge distillation can supply denser guidance, and advanced proprietary models with their strong reasoning capabilities are promising teachers. While distilling from proprietary models can densify this supervisory signal, conventional logit-matching is precluded by hidden logits and mismatched tokenizers, whereas raw natural language trajectory imitation transfers superficial stylistic artifacts rather than core reasoning competence. To address the heterogeneous distillation problem and bridge the distribution gap, we propose Multi-Agent Protocol Distillation (MAPD), a joint distillation and RL framework uses a structured, style-normalized protocol as an intermediate representation. An offline multi-agent system (MAS) decomposes each query, retrieves supporting evidence, repairs failed searches, and converts the resulting exploration trace into a JSON protocol containing the task type, reasoning plan, and extractive grounding facts. During training, the protocol is provided only to a privileged branch of the student policy, whose token distributions furnish a dense distillation signal alongside the sparse RL objective. Extensive evaluations across seven QA benchmarks demonstrate that MAPD consistently outperforms competitive distillation and RL, achieving average success rates of 39.4\% on Qwen3-1.7B and 44.4\% on Qwen3-4B. Crucially, the framework generalizes robustly across diverse proprietary teachers while effectively mitigating the student policy from style drift and verbosity degeneration.