Apprentissage par Renforcement sur des Données de Pré-entraînement

Reinforcement Learning on Pre-Training Data

September 23, 2025

papers.authors: Siheng Li, Kejiao Li, Zenan Xu, Guanhua Huang, Evander Yang, Kun Li, Haoyuan Wu, Jiajia Wu, Zihao Zheng, Chenchen Zhang, Kun Shi, Kyrierl Deng, Qi Yi, Ruibin Xiong, Tingqiang Xu, Yuhao Jiang, Jianfeng Yan, Yuyuan Zeng, Guanghui Xu, Jinbao Xue, Zhijiang Xu, Zheng Fang, Shuai Li, Qibin Liu, Xiaoxue Li, Zhuoyu Li, Yangyu Tao, Fei Gao, Cheng Jiang, Bo Chao Wang, Kai Liu, Jianchen Zhu, Wai Lam, Wayyt Wang, Bo Zhou, Di Wang

cs.AI

papers.abstract

L'écart croissant entre l'échelle exponentielle des ressources de calcul et la croissance limitée des données textuelles de haute qualité contraint désormais les approches conventionnelles de mise à l'échelle pour les grands modèles de langage (LLMs). Pour relever ce défi, nous introduisons le **Reinforcement Learning on Pre-Training data (RLPT)**, un nouveau paradigme de mise à l'échelle au moment de l'entraînement pour optimiser les LLMs. Contrairement aux approches antérieures qui mettent à l'échelle l'entraînement principalement par apprentissage supervisé, RLPT permet à la politique d'explorer de manière autonome des trajectoires significatives pour apprendre à partir des données de pré-entraînement et d'améliorer ses capacités grâce à l'apprentissage par renforcement (RL). Alors que les stratégies RL existantes, telles que l'apprentissage par renforcement à partir de retours humains (RLHF) et l'apprentissage par renforcement avec récompenses vérifiables (RLVR), reposent sur l'annotation humaine pour la construction des récompenses, RLPT élimine cette dépendance en dérivant les signaux de récompense directement des données de pré-entraînement. Plus précisément, il adopte un objectif de raisonnement sur le segment suivant, récompensant la politique pour avoir prédit avec précision les segments de texte suivants en fonction du contexte précédent. Cette formulation permet de mettre à l'échelle le RL sur les données de pré-entraînement, encourageant l'exploration de trajectoires plus riches dans des contextes plus larges et favorisant ainsi des compétences de raisonnement plus généralisables. Des expériences approfondies sur des benchmarks de raisonnement général et mathématique, appliqués à plusieurs modèles, valident l'efficacité de RLPT. Par exemple, lorsqu'il est appliqué à Qwen3-4B-Base, RLPT entraîne des améliorations absolues de 3,0, 5,1, 8,1, 6,0, 6,6 et 5,3 sur MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24 et AIME25, respectivement. Les résultats démontrent en outre un comportement de mise à l'échelle favorable, suggérant un fort potentiel de gains continus avec davantage de ressources de calcul. De plus, RLPT fournit une base solide, étendant les limites du raisonnement des LLMs et améliorant les performances de RLVR.

English

The growing disparity between the exponential scaling of computational resources and the finite growth of high-quality text data now constrains conventional scaling approaches for large language models (LLMs). To address this challenge, we introduce Reinforcement Learning on Pre-Training data (RLPT), a new training-time scaling paradigm for optimizing LLMs. In contrast to prior approaches that scale training primarily through supervised learning, RLPT enables the policy to autonomously explore meaningful trajectories to learn from pre-training data and improve its capability through reinforcement learning (RL). While existing RL strategies such as reinforcement learning from human feedback (RLHF) and reinforcement learning with verifiable rewards (RLVR) rely on human annotation for reward construction, RLPT eliminates this dependency by deriving reward signals directly from pre-training data. Specifically, it adopts a next-segment reasoning objective, rewarding the policy for accurately predicting subsequent text segments conditioned on the preceding context. This formulation allows RL to be scaled on pre-training data, encouraging the exploration of richer trajectories across broader contexts and thereby fostering more generalizable reasoning skills. Extensive experiments on both general-domain and mathematical reasoning benchmarks across multiple models validate the effectiveness of RLPT. For example, when applied to Qwen3-4B-Base, RLPT yields absolute improvements of 3.0, 5.1, 8.1, 6.0, 6.6, and 5.3 on MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, and AIME25, respectively. The results further demonstrate favorable scaling behavior, suggesting strong potential for continued gains with more compute. In addition, RLPT provides a solid foundation, extending the reasoning boundaries of LLMs and enhancing RLVR performance.