ポストトレーニングのための完全な推論トレースの再検討

要旨

大規模言語モデル（LLM）は、推論能力を向上させるために、あらかじめ収集された推論軌跡でポストトレーニングされることが多い。そのような軌跡は、複雑で絡み合った経路のために長くなる傾向があり、しばしば解答に至る経路における回り道を含む。しかしながら、教師あり微調整（SFT）のようなポストトレーニングにおいて、LLMが完全な軌跡を学習することから実際に利益を得るかどうかは十分に検討されていない。我々の予備研究を出発点として、完全な軌跡は限られた利益しかもたらさない一方で、部分的な軌跡は大幅な切り詰めの下でも有効であることを見いだした。我々は、注意機構に基づく分析と統制されたトークン除去研究を通じて、推論軌跡における冗長性を分析し、どちらも中間トークンが最終的な推論品質にほとんど寄与しないことを示す。これは、冗長な情報を避けることで、既知の軌跡端点が与えられたもとで、LLMが自身の内部知識から欠落したステップを推論することにより、内部で整合的な代替案を推論できるようになる可能性を示唆する。さらに、端点を用いてLLMを訓練することが推論行動に一貫した変化をもたらし、強化学習やオンポリシー蒸留に基づくポストトレーニング手法にも有効であることを示し、完全な推論トレースを再検討する必要性を浮き彫りにする。コードは https://github.com/naver-ai/revisiting-trace で公開されている。

English

Large language models (LLMs) are often post-trained on pre-collected reasoning trajectories to improve their reasoning capability. Such trajectories tend to be long due to complex, interwoven paths, which often include detours on the path toward the answer. However, it has been underexplored whether LLMs indeed benefit from learning complete trajectories in post-training, such as supervised fine-tuning (SFT). Starting from our pilot study, we find that full trajectories provide only limited benefit, while partial trajectories are effective even under heavy truncation. We analyze redundancy in reasoning trajectories through attention-based analyses and controlled token-removal studies, both of which show that intermediate tokens contribute minimally to final reasoning quality. This suggests that avoiding redundant information may allow LLMs to internally infer coherent alternatives by inferring missing steps from their internal knowledge, given known trajectory endpoints. Furthermore, we show that training LLMs using endpoints leads to consistent changes in reasoning behavior, and that it also benefits post-training methods based on reinforcement learning or on-policy distillation, highlighting the need to revisit complete reasoning traces. Code is available at https://github.com/naver-ai/revisiting-trace.