TurnSight: 턴 단위 회고적 자기 증류를 통한 도구 통합 추론

초록

도구 통합 추론(Tool-Integrated Reasoning, TIR)은 반복적인 도구 상호작용을 통해 LLM이 복잡한 작업을 해결할 수 있게 한다. 그러나 기존 강화학습 방법들은 종종 궤적 수준의 지도(supervision)에 의존하기 때문에 장기 지평(long-horizon) TIR 시나리오에서 세밀한 신용 할당(credit assignment)이 제한된다. 온-폴리시 자기 증류(on-policy self-distillation)는 특권 맥락(privileged context)을 갖춘 교사 분기(teacher branch)를 통해 더 조밀한 신호를 제공하지만, 기존 접근법들은 일반적으로 그러한 맥락을 정답(ground-truth answers)이나 검색된 스킬(retrieved skills)에서 도출하며, 이는 에이전트가 실제로 방문한 상태를 반영하지 못할 수 있다. 더욱이 토큰 수준의 지도는 도구 상호작용의 턴 수준 구조를 포착하지 못한다. 이러한 문제를 해결하기 위해, 우리는 실행 조건부 회고(execution-conditioned hindsight)로부터 직접 지도를 도출하는 턴 수준 회고 자기 증류(turn-level hindsight self-distillation) 프레임워크인 TurnSight를 제안한다. 그런 다음 서로 다른 선행 지평(lookahead horizon)을 가진 여러 회고 뷰(hindsight view)를 구성하고, 교차 지평 방향 일치(cross-horizon directional agreement)를 통해 신뢰할 수 있는 지도를 선택한다. 마지막으로 선택된 회고 신호는 형제 롤아웃(sibling rollout) 간에 정규화되며, 원래의 최적화 방향을 유지하면서 RL 어드밴티지를 적응적으로 조절하는 데 사용된다. 세 개의 벤치마크에 대한 광범위한 실험은 TurnSight의 효과성을 입증한다. 코드는 https://github.com/quchangle1/TurnSight에서 확인할 수 있다.

English

Tool-Integrated Reasoning (TIR) enables LLMs to solve complex tasks through iterative tool interactions. However, existing reinforcement learning methods often rely on trajectory-level supervision, limiting fine-grained credit assignment in long-horizon TIR scenarios. On-policy self-distillation offers denser signals through teacher branches with privileged context, but existing approaches typically derive such context from ground-truth answers or retrieved skills, which may not reflect the states actually visited by the agent. Moreover, token-level supervision fails to capture the turn-level structure of tool interactions. To address this, we propose TurnSight, a turn-level hindsight self-distillation framework that derives supervision directly from execution-conditioned hindsight. It then constructs multiple hindsight views with different lookahead horizons and selects reliable supervision through cross-horizon directional agreement. Finally, the selected hindsight signal is normalized across sibling rollouts and used to adaptively modulate RL advantages while preserving their original optimization direction. Extensive experiments on three benchmarks demonstrate the effectiveness of TurnSight. Our codes are available at https://github.com/quchangle1/TurnSight.