数学的推論学習における結果報酬の限界を探る

Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning

February 10, 2025

著者: Chengqi Lyu, Songyang Gao, Yuzhe Gu, Wenwei Zhang, Jianfei Gao, Kuikun Liu, Ziyi Wang, Shuaibin Li, Qian Zhao, Haian Huang, Weihan Cao, Jiangning Liu, Hongwei Liu, Junnan Liu, Songyang Zhang, Dahua Lin, Kai Chen

cs.AI

要旨

推論能力、特に複雑な数学問題を解決する能力は、一般的な知能の重要な要素です。OpenAIのo-seriesモデルなど、特許企業による最近の進歩により、推論タスクで顕著な進歩が見られています。ただし、完全な技術的詳細は未公開であり、採用されると考えられる技術は強化学習（RL）と長い思考の連鎖のみです。本論文では、数学的推論タスクにおいてのOutcome REwArdベースの強化学習を追求する新しいRLフレームワークOREALを提案します。ここでは、バイナリアウトカム報酬のみが容易にアクセス可能である環境で、最適なポリシーをKL正則化するために、最良のN（BoN）サンプリングからの正の軌跡に対する行動クローンが学習に十分であることを理論的に証明します。この定式化は、負のサンプルの報酬を再形成して、正と負のサンプル間で勾配の一貫性を確保する必要があることをさらに示唆しています。RLにおける希薄な報酬によってもたらされる長年の困難を緩和するために、さらに、推論軌跡で重要なトークンをサンプリングするためのトークンレベルの報酬モデルを適用します。OREALにより、初めて7BモデルがRLを通じてMATH-500で94.0 pass@1の精度を達成し、32Bモデルと同等の性能を発揮します。OREAL-32Bも、MATH-500で95.0 pass@1の精度を達成する以前の32Bモデルを蒸留で訓練したモデルを上回ります。私たちの調査は、RLのための初期ポリシーモデルとトレーニングクエリの重要性も示しています。コード、モデル、データは、将来の研究のために公開されます。

English

Reasoning abilities, especially those for solving complex math problems, are crucial components of general intelligence. Recent advances by proprietary companies, such as o-series models of OpenAI, have made remarkable progress on reasoning tasks. However, the complete technical details remain unrevealed, and the techniques that are believed certainly to be adopted are only reinforcement learning (RL) and the long chain of thoughts. This paper proposes a new RL framework, termed OREAL, to pursue the performance limit that can be achieved through Outcome REwArd-based reinforcement Learning for mathematical reasoning tasks, where only binary outcome rewards are easily accessible. We theoretically prove that behavior cloning on positive trajectories from best-of-N (BoN) sampling is sufficient to learn the KL-regularized optimal policy in binary feedback environments. This formulation further implies that the rewards of negative samples should be reshaped to ensure the gradient consistency between positive and negative samples. To alleviate the long-existing difficulties brought by sparse rewards in RL, which are even exacerbated by the partial correctness of the long chain of thought for reasoning tasks, we further apply a token-level reward model to sample important tokens in reasoning trajectories for learning. With OREAL, for the first time, a 7B model can obtain 94.0 pass@1 accuracy on MATH-500 through RL, being on par with 32B models. OREAL-32B also surpasses previous 32B models trained by distillation with 95.0 pass@1 accuracy on MATH-500. Our investigation also indicates the importance of initial policy models and training queries for RL. Code, models, and data will be released to benefit future researchhttps://github.com/InternLM/OREAL.