다음 청크 추론 강화학습이 정말 SFT보다 우수한가? CoT 데이터가 없는 환경에서의 학습 전략 재검토

초록

최근 연구는 no-CoT 데이터를 활용하기 위한 다음 청크 추론 강화학습(next-chunk reasoning RL)을 제안한다. no-CoT 데이터는 완성된 풀이와 교과서 유도 과정처럼 추론 내용이 풍부하지만 명시적 사고 사슬(chain-of-thought) 주석이 없는 말뭉치를 가리킨다. 이 방법은 모델이 암시적 추론 궤적을 생성하도록 훈련하고, 생성된 궤적이 다음 텍스트 청크를 예측하는 능력에 따라 보상을 부여한다. 유망한 접근법이지만, 기존 평가는 주로 기존의 SFT(지도 미세조정) 기준선과 비교한 것이어서, 이러한 성과가 RL 설계 자체에서 비롯된 것인지, 아니면 모델이 no-CoT 데이터에 더 효과적으로 노출되었기 때문인지는 여전히 불분명하다. 우리는 다음 청크 추론 RL에 대한 통제된 연구와, 단순하지만 이전에 간과되었던 대안인 혼합 SFT(Mixed SFT)를 통해 이 문제를 다룬다. 혼합 SFT는 no-CoT 데이터와 long-CoT 데이터를 함께 학습하는 단일 지도 미세조정 단계이다. 혼합 SFT는 단순함에도 불구하고, 학습 계산량을 60배 이상 절약하면서도 다음 청크 추론 RL보다 명확히 더 높은 RLVR 이후 성능 상한을 달성한다. 이러한 이점은 도메인 내 수학적 추론과 도메인 외 추론 과제에서 일관되게 나타난다. 또한, RLVR 이전 정확도가 높다고 해서 반드시 RLVR 이후 정확도로 이어지는 것은 아님을 보여준다. 이는 no-CoT 훈련 전략을 전체 후속 훈련 파이프라인의 맥락에서 평가해야 할 필요성을 강조한다.

English

Recent work proposes next-chunk reasoning RL for leveraging no-CoT data---corpora such as worked solutions and textbook derivations that contain reasoning-rich content but lack explicit chain-of-thought annotations. The method trains a model to generate implicit reasoning traces and rewards them by their ability to predict the next chunk of text. While promising, existing evaluations primarily compare against conventional SFT baselines, leaving open whether the gains come from the RL formulation itself or from more effectively exposing the model to no-CoT data. We address this question with a controlled study of next-chunk reasoning RL and a simple but previously overlooked alternative: Mixed SFT, a single supervised fine-tuning stage that jointly trains on no-CoT and long-CoT data. Despite its simplicity, Mixed SFT achieves a clearly higher post-RLVR performance ceiling than next-chunk reasoning RL while requiring over 60 times less training compute. The advantage is consistent across in-domain mathematical reasoning and out-of-domain reasoning tasks. Moreover, we show that higher pre-RLVR accuracy does not necessarily translate into higher post-RLVR accuracy, highlighting the need to evaluate no-CoT training strategies in the context of the full post-training pipeline.