事前学習データを用いた強化学習

Reinforcement Learning on Pre-Training Data

September 23, 2025

著者: Siheng Li, Kejiao Li, Zenan Xu, Guanhua Huang, Evander Yang, Kun Li, Haoyuan Wu, Jiajia Wu, Zihao Zheng, Chenchen Zhang, Kun Shi, Kyrierl Deng, Qi Yi, Ruibin Xiong, Tingqiang Xu, Yuhao Jiang, Jianfeng Yan, Yuyuan Zeng, Guanghui Xu, Jinbao Xue, Zhijiang Xu, Zheng Fang, Shuai Li, Qibin Liu, Xiaoxue Li, Zhuoyu Li, Yangyu Tao, Fei Gao, Cheng Jiang, Bo Chao Wang, Kai Liu, Jianchen Zhu, Wai Lam, Wayyt Wang, Bo Zhou, Di Wang

cs.AI

要旨

計算リソースの指数関数的なスケーリングと高品質なテキストデータの有限な成長との間の拡大する格差は、現在、大規模言語モデル（LLM）に対する従来のスケーリングアプローチを制約しています。この課題に対処するため、我々は事前学習データに対する強化学習（Reinforcement Learning on Pre-Training data, RLPT）という新しいトレーニング時のスケーリングパラダイムを導入します。主に教師あり学習を通じてトレーニングをスケーリングする従来のアプローチとは対照的に、RLPTはポリシーが事前学習データから意味のある軌跡を自律的に探索し、強化学習（RL）を通じてその能力を向上させることを可能にします。人間のフィードバックに基づく強化学習（RLHF）や検証可能な報酬を用いた強化学習（RLVR）などの既存のRL戦略は、報酬構築に人間のアノテーションを依存していますが、RLPTはこの依存を排除し、報酬信号を直接事前学習データから導出します。具体的には、RLPTは次セグメント推論目標を採用し、前後の文脈に基づいて後続のテキストセグメントを正確に予測するポリシーに報酬を与えます。この定式化により、RLを事前学習データ上でスケーリングし、より広範な文脈にわたる豊かな軌跡の探索を促進し、それによってより一般化可能な推論スキルを育成します。複数のモデルにわたる一般ドメインおよび数学的推論ベンチマークでの広範な実験により、RLPTの有効性が検証されています。例えば、Qwen3-4B-Baseに適用した場合、RLPTはMMLU、MMLU-Pro、GPQA-Diamond、KOR-Bench、AIME24、およびAIME25において、それぞれ3.0、5.1、8.1、6.0、6.6、および5.3の絶対的な改善をもたらします。結果はさらに良好なスケーリング挙動を示し、より多くの計算リソースを用いることで継続的な利得が得られる可能性が高いことを示唆しています。加えて、RLPTはLLMの推論境界を拡張し、RLVRのパフォーマンスを向上させる堅固な基盤を提供します。

English

The growing disparity between the exponential scaling of computational resources and the finite growth of high-quality text data now constrains conventional scaling approaches for large language models (LLMs). To address this challenge, we introduce Reinforcement Learning on Pre-Training data (RLPT), a new training-time scaling paradigm for optimizing LLMs. In contrast to prior approaches that scale training primarily through supervised learning, RLPT enables the policy to autonomously explore meaningful trajectories to learn from pre-training data and improve its capability through reinforcement learning (RL). While existing RL strategies such as reinforcement learning from human feedback (RLHF) and reinforcement learning with verifiable rewards (RLVR) rely on human annotation for reward construction, RLPT eliminates this dependency by deriving reward signals directly from pre-training data. Specifically, it adopts a next-segment reasoning objective, rewarding the policy for accurately predicting subsequent text segments conditioned on the preceding context. This formulation allows RL to be scaled on pre-training data, encouraging the exploration of richer trajectories across broader contexts and thereby fostering more generalizable reasoning skills. Extensive experiments on both general-domain and mathematical reasoning benchmarks across multiple models validate the effectiveness of RLPT. For example, when applied to Qwen3-4B-Base, RLPT yields absolute improvements of 3.0, 5.1, 8.1, 6.0, 6.6, and 5.3 on MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, and AIME25, respectively. The results further demonstrate favorable scaling behavior, suggesting strong potential for continued gains with more compute. In addition, RLPT provides a solid foundation, extending the reasoning boundaries of LLMs and enhancing RLVR performance.