次チャンク推論RLは本当にSFTより優れているのか？CoTデータなしでの学習戦略の再検討

要旨

近年の研究では、no-CoTデータ（解答過程や教科書の導出など、推論に富む内容を含むものの、明示的なチェーン・オブ・ソート注釈を欠くコーパス）を活用するための次チャンク推論RLが提案されている。この手法は、モデルに暗黙的な推論トレースを生成させ、テキストの次チャンクを予測する能力に基づいて報酬を与えるものである。有望ではあるものの、既存の評価は主に従来のSFTベースラインとの比較に留まっており、性能向上がRLの定式化自体に起因するのか、それともモデルへのno-CoTデータの露出をより効果的に行ったことに起因するのかは未解明のままである。我々はこの問いに取り組むため、次チャンク推論RLの統制された研究と、これまで見落とされてきた単純な代替手法であるMixed SFT（no-CoTデータと長文CoTデータを併せて訓練する単一の教師ありファインチューニング段階）との比較を行う。その単純さにもかかわらず、Mixed SFTは次チャンク推論RLよりも明確に高いRLVR後性能上限を達成し、しかも訓練計算量は60分の1以下である。この利点は、ドメイン内の数学的推論とドメイン外の推論タスクの両方で一貫して観察される。さらに、RLVR前の精度が高いことが必ずしもRLVR後の精度の高さにつながらないことを示し、no-CoT訓練戦略を評価する際には、後続訓練（ポストトレーニング）パイプライン全体の文脈で評価する必要性を強調する。

English

Recent work proposes next-chunk reasoning RL for leveraging no-CoT data---corpora such as worked solutions and textbook derivations that contain reasoning-rich content but lack explicit chain-of-thought annotations. The method trains a model to generate implicit reasoning traces and rewards them by their ability to predict the next chunk of text. While promising, existing evaluations primarily compare against conventional SFT baselines, leaving open whether the gains come from the RL formulation itself or from more effectively exposing the model to no-CoT data. We address this question with a controlled study of next-chunk reasoning RL and a simple but previously overlooked alternative: Mixed SFT, a single supervised fine-tuning stage that jointly trains on no-CoT and long-CoT data. Despite its simplicity, Mixed SFT achieves a clearly higher post-RLVR performance ceiling than next-chunk reasoning RL while requiring over 60 times less training compute. The advantage is consistent across in-domain mathematical reasoning and out-of-domain reasoning tasks. Moreover, we show that higher pre-RLVR accuracy does not necessarily translate into higher post-RLVR accuracy, highlighting the need to evaluate no-CoT training strategies in the context of the full post-training pipeline.