다중 교사 온-정책 증류에서의 도구 호출 경계 드리프트 진단 및 보정

초록

에이전트 언어 모델은 도구를 호출해야 하는 시점, 도구 응답을 소비해야 하는 시점, 그리고 직접 답변해야 하는 시점을 학습해야 합니다. 이는 다중 교사 온-정책 증류를 자연스러운 학습 전략으로 만듭니다. 한 교사는 도구 호출에 특화되고, 다른 교사는 직접 응답에 특화될 수 있으며, 학생 모델은 자체 생성 분포에서 두 교사로부터 모두 학습할 수 있습니다. 본 연구는 이 전략이 집계 손실만으로는 관찰할 수 없는 행동 변화를 유발할 수 있음을 보여줍니다. 두 교사가 있는 도구 사용 환경에서, 바닐라 일반화된 지식 증류는 도구 호출 재현율을 향상시키지만, 모델이 직접 답변해야 하는 예제에서도 도구를 호출하는 과도한 호출 경향으로 이끕니다. 집계된 설명만으로는 충분하지 않습니다. 도구 호출 샘플이 더 많은 토큰 노출을 받지 않으며, 도구 호출 교사에 대한 전체 시퀀스의 토큰별 발산도 더 크지 않습니다. 대신 본 연구는 행동 레버리지 불균형을 분석합니다. <tool_call> 및 함수 이름과 같은 모드 진입 및 구조적 위치에서의 국소적인 토큰 수준 신호가 전체 생성 모드를 불균형적으로 제어할 수 있습니다. 본 연구는 동적인 방식으로 극단적인 토큰 수준의 Jensen-Shannon 발산을 압축하면서도 0이 아닌 기울기를 유지하는 토큰별 발산 보정 방법인 소프트 클램프를 제안합니다. APIGen-MT에서 소프트 클램프는 바닐라 GKD 대비 과도한 호출을 13.7%에서 9.0%로 줄이면서 의사 결정 정확도는 유지합니다. BFCL 다중 턴 진단에서도 GKD 변종 중에서 도구 호출 루프와 반복 호출을 낮춥니다. 이러한 결과는 다중 교사 OPD가 교사 신호의 크기가 집계적으로 얼마나 큰지뿐만 아니라 교사 신호가 어디에서 작용하는지도 모니터링해야 함을 시사합니다.

English

Agentic language models must learn when to call tools, when to consume tool responses, and when to answer directly. This makes multi-teacher on-policy distillation a natural training strategy: one teacher can specialize in tool calls, another in direct responses, and the student can learn from both on its own generated distribution. We show that this strategy can induce a behavior shift that is invisible from aggregate losses alone. In a two-teacher tool-use setting, vanilla generalized knowledge distillation improves tool-call recall but also moves the model toward over-calling, where it calls tools on examples that should be answered directly. Aggregate explanations are insufficient: tool-call samples do not receive more token exposure, and full-sequence per-token divergence is not larger for the tool-call teacher. We instead analyze behavior leverage imbalance: local token-level signals at mode- entry and structural positions, such as <tool_call> and function names, can have disproportionate control over the global generation mode. We propose Soft Clamp, a per-token divergence calibration method that dynamically compresses extreme token-level Jensen-Shannon divergence while preserving nonzero gradients. On APIGen-MT, Soft Clamp reduces over-calling from 13.7% to 9.0% relative to vanilla GKD while matching its decision accuracy. In a BFCL multi-turn diagnostic, it also lowers tool-call loops and repeated calls among GKD variants. These results suggest that multi-teacher OPD should monitor where teacher signals act, not only how large they are in aggregate.