TurnSight：ターンレベルの振り返り自己蒸留によるツール統合推論

要旨

Tool-Integrated Reasoning（TIR）は、反復的なツールインタラクションを通じて、LLMが複雑なタスクを解決することを可能にする。しかしながら、既存の強化学習手法は軌跡レベルの教師信号に依存することが多く、長期的なTIRシナリオにおける細粒度のクレジット割り当てを制限している。オン方策自己蒸留は、特権的コンテキストを持つ教師ブランチを通じてより密な信号を提供するが、既存のアプローチは通常、このようなコンテキストを正解回答や検索されたスキルから導出しており、エージェントが実際に訪れた状態を反映しない可能性がある。さらに、トークンレベルの教師信号は、ツールインタラクションのターンレベルの構造を捉えることができない。この問題に対処するため、我々は、実行条件付き後知恵から直接教師信号を導出するターンレベルの後知恵自己蒸留フレームワークであるTurnSightを提案する。次に、異なる先読みホライズンを持つ複数の後知恵ビューを構築し、クロスホライズン方向的一致を通じて信頼できる教師信号を選択する。最後に、選択された後知恵信号は兄弟ロールアウト間で正規化され、元の最適化方向を維持しながらRLアドバンテージを適応的に調整するために用いられる。3つのベンチマークにおける広範な実験により、TurnSightの有効性が実証される。我々のコードはhttps://github.com/quchangle1/TurnSightで公開されている。

English

Tool-Integrated Reasoning (TIR) enables LLMs to solve complex tasks through iterative tool interactions. However, existing reinforcement learning methods often rely on trajectory-level supervision, limiting fine-grained credit assignment in long-horizon TIR scenarios. On-policy self-distillation offers denser signals through teacher branches with privileged context, but existing approaches typically derive such context from ground-truth answers or retrieved skills, which may not reflect the states actually visited by the agent. Moreover, token-level supervision fails to capture the turn-level structure of tool interactions. To address this, we propose TurnSight, a turn-level hindsight self-distillation framework that derives supervision directly from execution-conditioned hindsight. It then constructs multiple hindsight views with different lookahead horizons and selects reliable supervision through cross-horizon directional agreement. Finally, the selected hindsight signal is normalized across sibling rollouts and used to adaptively modulate RL advantages while preserving their original optimization direction. Extensive experiments on three benchmarks demonstrate the effectiveness of TurnSight. Our codes are available at https://github.com/quchangle1/TurnSight.