Apprendimento per Rinforzo su Dati di Pre-Addestramento

Reinforcement Learning on Pre-Training Data

September 23, 2025

Autori: Siheng Li, Kejiao Li, Zenan Xu, Guanhua Huang, Evander Yang, Kun Li, Haoyuan Wu, Jiajia Wu, Zihao Zheng, Chenchen Zhang, Kun Shi, Kyrierl Deng, Qi Yi, Ruibin Xiong, Tingqiang Xu, Yuhao Jiang, Jianfeng Yan, Yuyuan Zeng, Guanghui Xu, Jinbao Xue, Zhijiang Xu, Zheng Fang, Shuai Li, Qibin Liu, Xiaoxue Li, Zhuoyu Li, Yangyu Tao, Fei Gao, Cheng Jiang, Bo Chao Wang, Kai Liu, Jianchen Zhu, Wai Lam, Wayyt Wang, Bo Zhou, Di Wang

cs.AI

Abstract

La crescente disparità tra la scalabilità esponenziale delle risorse computazionali e la crescita limitata di dati testuali di alta qualità ora limita gli approcci convenzionali di scalabilità per i grandi modelli linguistici (LLM). Per affrontare questa sfida, introduciamo il Reinforcement Learning on Pre-Training data (RLPT), un nuovo paradigma di scalabilità durante l'addestramento per ottimizzare gli LLM. A differenza degli approcci precedenti che scalano l'addestramento principalmente attraverso l'apprendimento supervisionato, RLPT consente alla policy di esplorare autonomamente traiettorie significative per apprendere dai dati di pre-addestramento e migliorare le proprie capacità attraverso il reinforcement learning (RL). Mentre le strategie RL esistenti, come il reinforcement learning from human feedback (RLHF) e il reinforcement learning with verifiable rewards (RLVR), si basano sull'annotazione umana per la costruzione delle ricompense, RLPT elimina questa dipendenza derivando i segnali di ricompensa direttamente dai dati di pre-addestramento. Nello specifico, adotta un obiettivo di ragionamento sul segmento successivo, premiando la policy per la previsione accurata dei segmenti testuali successivi condizionati dal contesto precedente. Questa formulazione consente di scalare il RL sui dati di pre-addestramento, incoraggiando l'esplorazione di traiettorie più ricche in contesti più ampi e favorendo così capacità di ragionamento più generalizzabili. Esperimenti estesi su benchmark di ragionamento generale e matematico su più modelli convalidano l'efficacia di RLPT. Ad esempio, applicato a Qwen3-4B-Base, RLPT produce miglioramenti assoluti di 3.0, 5.1, 8.1, 6.0, 6.6 e 5.3 rispettivamente su MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24 e AIME25. I risultati dimostrano inoltre un comportamento di scalabilità favorevole, suggerendo un forte potenziale per ulteriori guadagni con più risorse computazionali. Inoltre, RLPT fornisce una solida base, estendendo i confini del ragionamento degli LLM e migliorando le prestazioni di RLVR.

English

The growing disparity between the exponential scaling of computational resources and the finite growth of high-quality text data now constrains conventional scaling approaches for large language models (LLMs). To address this challenge, we introduce Reinforcement Learning on Pre-Training data (RLPT), a new training-time scaling paradigm for optimizing LLMs. In contrast to prior approaches that scale training primarily through supervised learning, RLPT enables the policy to autonomously explore meaningful trajectories to learn from pre-training data and improve its capability through reinforcement learning (RL). While existing RL strategies such as reinforcement learning from human feedback (RLHF) and reinforcement learning with verifiable rewards (RLVR) rely on human annotation for reward construction, RLPT eliminates this dependency by deriving reward signals directly from pre-training data. Specifically, it adopts a next-segment reasoning objective, rewarding the policy for accurately predicting subsequent text segments conditioned on the preceding context. This formulation allows RL to be scaled on pre-training data, encouraging the exploration of richer trajectories across broader contexts and thereby fostering more generalizable reasoning skills. Extensive experiments on both general-domain and mathematical reasoning benchmarks across multiple models validate the effectiveness of RLPT. For example, when applied to Qwen3-4B-Base, RLPT yields absolute improvements of 3.0, 5.1, 8.1, 6.0, 6.6, and 5.3 on MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, and AIME25, respectively. The results further demonstrate favorable scaling behavior, suggesting strong potential for continued gains with more compute. In addition, RLPT provides a solid foundation, extending the reasoning boundaries of LLMs and enhancing RLVR performance.