特権的ガイダンスが不整合となる場合：マルチターンエージェントのための状態マッチングルーティングと文脈化自己蒸留

要旨

特権的オン・ポリシー蒸留は、訓練時のみ利用可能な参照（成功軌跡など）にアクセスできる同期された教師が、各ターンで生徒の応答を再スコアリングすることを可能にすることで、マルチターンエージェントに密な教師信号を提供する。しかし、対話環境では、生徒のそれまでの行動が実行状態を継続的に変化させる。生徒が異なる行動を取ったり、サブゴールを異なる順序で完了したりすると、そのロールアウトは参照がカバーしていない状態に到達することがあり、参照は実際に到達した状態に対して信頼できないガイダンス源となる。したがって、特権的蒸留を無差別に適用することは、状態と参照のミスマッチを生み出す。このミスマッチは、生徒の現在の実行状態と互換性を保つ特権的参照ガイダンスを提供するという中心的な目的を動機付ける。我々は、特権的軌跡がオン・ポリシー生徒をいつ、どのように導くかを明示的に決定する State-Matched Routing and Contextualized Self-Distillation（SMRC-SD）を導入する。各ターンにおいて、SMRC-SD は、生徒の現在の実行状態が参照軌跡に沿ってサポートされている状態と一致するかを検証する。蒸留は一致した状態でのみ適用され、参照が局所的に互換性のあるガイダンスを欠いているターンは除外される。各一致状態について、SMRC-SD はさらに、成功軌跡から状態条件付き教師コンテキストを構築し、実際に到達した状態に基づく教師信号を提供する。ALFWorld と WebShop において、SMRC-SD は、無条件の成功全軌跡蒸留を一貫して上回る。Qwen3-1.7B を用いた場合、ALFWorld ではタスク成功率が 0.746 から 0.865 に、WebShop では 0.574 から 0.693 に改善される。制御されたルーティングとコンテキストのアブレーションは、局所的にサポートされたターンの選択と状態に適合した教師コンテキストの構築の両方がこれらの改善の要因であることを支持する。コードは https://github.com/liujunzhuo/SMRC-SD で入手できる。

English

Privileged on-policy distillation provides dense supervision for multi-turn agents by allowing a synchronized teacher to re-score the student's response at every turn with access to training-only references, such as successful trajectories. In interactive environments, however, the student's preceding actions continually change the execution state. As the student takes different actions or completes subgoals in a different order, its rollout may reach states not covered by the reference, making the reference an unreliable source of guidance for the state actually reached. Applying privileged distillation indiscriminately therefore creates state--reference mismatch. This mismatch motivates a central objective: providing privileged reference guidance that remains compatible with the student's current execution state. We introduce State-Matched Routing and Contextualized Self-Distillation (SMRC-SD), which explicitly determines when and how a privileged trajectory should guide an on-policy student. At each turn, SMRC-SD verifies whether the student's current execution state matches a supported state along the reference trajectory. Distillation is applied only at matched states, filtering out turns for which the reference lacks locally compatible guidance. For each matched state, SMRC-SD further constructs state-conditioned teacher context from the successful trajectory, grounding supervision in the state actually reached. Across ALFWorld and WebShop, SMRC-SD consistently outperforms unconditional successful full-path distillation. With Qwen3-1.7B, it improves task success from 0.746 to 0.865 on ALFWorld and from 0.574 to 0.693 on WebShop. Controlled routing and context ablations support both selecting locally supported turns and constructing state-compatible teacher context as contributors to these gains. Code is available at https://github.com/liujunzhuo/SMRC-SD.