Cliff: 最初の誤りからプロセス報酬を学習する

要旨

検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）のポストトレーニングにおける強力なパラダイムとして台頭してきたが、粗い結果報酬に依存しているため、中間的な推論プロセスへのガイダンスが限定的である。プロセス報酬モデリングやオンポリシー蒸留などの既存手法は、専門化された報酬モデルへの依存や、教師と生徒の間での同一の推論パターンの仮定といった追加の制約を伴う。しかしながら、推論プロセスが最初に誤った後は、その後の推論はすでに無効なプレフィックスに条件付けられているため、その後の推論を評価しても得られる追加情報は限られることを我々は観察する。そこで我々は、既製のLLMを教師として利用し、各ロールアウトにおける最初の誤りを特定する報酬形成戦略であるCliffを提案する。これにより、ロールアウトは正しいプレフィックスと誤ったサフィックスの2つの部分に自然に分解される。Cliffはこの信号をトークンレベルのアドバンテージに変換し、正しいプレフィックスには正のアドバンテージを、その後の部分には負のフィードバックを割り当てる。12の異なるシナリオにわたる実験により、Cliffは控えめな能力の教師を用いた場合でも、オンポリシー蒸留を15%、標準GRPOを7%上回り、推論性能を一貫して向上させることが実証された。さらに我々は、Cliffにおける「ground truth」の役割を分析し、そのトレーニングダイナミクスを調査する。これらの結果は、Cliffが、より豊かで細粒度の監督を通じてRLVRを改善するための、シンプルで汎用的かつ効果的なアプローチであることを示している。

English

Reinforcement learning with verifiable rewards (RLVR) has emerged as a powerful paradigm for large language model (LLM) post-training, but its reliance on coarse outcome rewards leads to limited guidance on intermediate reasoning processes. Existing approaches such as process reward modeling and on-policy distillation introduce additional constraints, such as reliance on a specialized reward model or assuming identical reasoning patterns between teacher and student. Nevertheless, we observe that once a reasoning process first goes wrong, evaluating the subsequent reasoning provides limited additional information, as it is already conditioned on an invalid prefix. Therefore, we propose Cliff, a reward shaping strategy that utilizes an off-the-shelf LLM as a teacher to identify the first mistake in each rollout. As a result, the rollout is naturally decomposed into two parts: a correct prefix and an incorrect suffix. Cliff then converts this signal into token-level advantages, assigning positive advantages for the correct prefix and negative feedback afterward. Experiments across 12 different scenarios demonstrate that Cliff consistently improves reasoning performance, outperforming on-policy distillation by 15% and standard GRPO by 7%, even with teachers of modest capability. Furthermore, we analyse the role of ``ground truth'' in Cliff and investigate its training dynamics. These results establish Cliff as a simple, general and effective approach for improving RLVR with richer, fine-grained supervision.