マルチティーチャー・オンポリシー蒸留におけるツール呼び出し境界ドリフトの診断と調整

要旨

エージェント型言語モデルは、いつツールを呼び出し、いつツール応答を消費し、いつ直接回答すべきかを学習する必要がある。このため、マルチティーチャー・オンポリシ蒸留は自然な学習戦略となる。すなわち、ある教師はツール呼び出しに特化し、別の教師は直接応答に特化し、生徒モデルは自身が生成した分布に基づいて両方から学習できる。本稿では、この戦略が損失の総和だけでは見えない行動変化を引き起こす可能性があることを示す。2人の教師を用いたツール使用設定では、通常の一般化知識蒸留はツール呼び出しの再現率を向上させる一方で、モデルを過剰呼び出しへと導き、直接回答すべき事例でもツールを呼び出すようになる。集約的な説明では不十分である。ツール呼び出しサンプルがより多くのトークン露出を受けるわけではなく、また全系列のトークンごとのダイバージェンスがツール呼び出し教師側で大きいわけでもない。代わりに、我々は行動レバレッジの不均衡を分析する。モード入力位置や構造的位置（<tool_call>や関数名など）における局所的なトークンレベルの信号が、グローバルな生成モードに対して不釣り合いな制御力を持つ可能性がある。我々はSoft Clampを提案する。これはトークンごとのダイバージェンス較正手法であり、極端なトークンレベルのJSダイバージェンスを動的に圧縮しつつ、非ゼロの勾配を保持する。APIGen-MTにおいて、Soft Clampは通常のGKDと比較して過剰呼び出しを13.7%から9.0%に低減し、かつ決定精度は同等である。BFCLのマルチターンダイアグノスティックでは、GKDの各変種の中でもツール呼び出しループと繰り返し呼び出しを低減する。これらの結果は、マルチティーチャーOPDにおいては、教師信号が集約的にどれほど大きいかだけでなく、どこで作用しているかを監視すべきであることを示唆している。

English

Agentic language models must learn when to call tools, when to consume tool responses, and when to answer directly. This makes multi-teacher on-policy distillation a natural training strategy: one teacher can specialize in tool calls, another in direct responses, and the student can learn from both on its own generated distribution. We show that this strategy can induce a behavior shift that is invisible from aggregate losses alone. In a two-teacher tool-use setting, vanilla generalized knowledge distillation improves tool-call recall but also moves the model toward over-calling, where it calls tools on examples that should be answered directly. Aggregate explanations are insufficient: tool-call samples do not receive more token exposure, and full-sequence per-token divergence is not larger for the tool-call teacher. We instead analyze behavior leverage imbalance: local token-level signals at mode- entry and structural positions, such as <tool_call> and function names, can have disproportionate control over the global generation mode. We propose Soft Clamp, a per-token divergence calibration method that dynamically compresses extreme token-level Jensen-Shannon divergence while preserving nonzero gradients. On APIGen-MT, Soft Clamp reduces over-calling from 13.7% to 9.0% relative to vanilla GKD while matching its decision accuracy. In a BFCL multi-turn diagnostic, it also lowers tool-call loops and repeated calls among GKD variants. These results suggest that multi-teacher OPD should monitor where teacher signals act, not only how large they are in aggregate.