사후 학습을 위한 완전한 추론 트레이스 재조명

초록

대규모 언어 모델(LLM)은 추론 능력을 향상시키기 위해 종종 미리 수집된 추론 궤적에 대해 사후 학습된다. 이러한 궤적은 복잡하게 얽힌 경로로 인해 길어지는 경향이 있으며, 이 경로는 종종 정답에 이르는 길에 우회로를 포함한다. 그러나 LLM이 지도 미세 조정(SFT)과 같은 사후 학습에서 완전한 궤적을 학습하는 것이 실제로 이점이 되는지는 충분히 연구되지 않았다. 우리의 예비 연구를 출발점으로 삼아, 우리는 완전한 궤적은 제한된 이점만을 제공하는 반면, 부분 궤적은 심한 절단 하에서도 효과적임을 발견한다. 우리는 어텐션 기반 분석과 통제된 토큰 제거 연구를 통해 추론 궤적의 중복성을 분석하며, 두 방법 모두 중간 토큰이 최종 추론 품질에 최소한으로 기여함을 보여준다. 이는 중복 정보를 피하는 것이, 알려진 궤적 종점이 주어졌을 때 LLM이 내부 지식으로부터 누락된 단계를 추론하여 내부적으로 일관된 대안을 추론할 수 있게 함을 시사한다. 또한, 우리는 종점들을 사용하여 LLM을 학습시키는 것이 추론 행동에 일관된 변화를 가져오며, 강화 학습 또는 온폴리시 증류에 기반한 사후 학습 방법에도 이점을 준다는 것을 보여주며, 이는 완전한 추론 궤적을 재검토할 필요성을 부각한다. 코드는 https://github.com/naver-ai/revisiting-trace에서 확인할 수 있다.

English

Large language models (LLMs) are often post-trained on pre-collected reasoning trajectories to improve their reasoning capability. Such trajectories tend to be long due to complex, interwoven paths, which often include detours on the path toward the answer. However, it has been underexplored whether LLMs indeed benefit from learning complete trajectories in post-training, such as supervised fine-tuning (SFT). Starting from our pilot study, we find that full trajectories provide only limited benefit, while partial trajectories are effective even under heavy truncation. We analyze redundancy in reasoning trajectories through attention-based analyses and controlled token-removal studies, both of which show that intermediate tokens contribute minimally to final reasoning quality. This suggests that avoiding redundant information may allow LLMs to internally infer coherent alternatives by inferring missing steps from their internal knowledge, given known trajectory endpoints. Furthermore, we show that training LLMs using endpoints leads to consistent changes in reasoning behavior, and that it also benefits post-training methods based on reinforcement learning or on-policy distillation, highlighting the need to revisit complete reasoning traces. Code is available at https://github.com/naver-ai/revisiting-trace.