Aprendizaje por Refuerzo en Datos de Preentrenamiento

Reinforcement Learning on Pre-Training Data

September 23, 2025

Autores: Siheng Li, Kejiao Li, Zenan Xu, Guanhua Huang, Evander Yang, Kun Li, Haoyuan Wu, Jiajia Wu, Zihao Zheng, Chenchen Zhang, Kun Shi, Kyrierl Deng, Qi Yi, Ruibin Xiong, Tingqiang Xu, Yuhao Jiang, Jianfeng Yan, Yuyuan Zeng, Guanghui Xu, Jinbao Xue, Zhijiang Xu, Zheng Fang, Shuai Li, Qibin Liu, Xiaoxue Li, Zhuoyu Li, Yangyu Tao, Fei Gao, Cheng Jiang, Bo Chao Wang, Kai Liu, Jianchen Zhu, Wai Lam, Wayyt Wang, Bo Zhou, Di Wang

cs.AI

Resumen

La creciente disparidad entre el escalamiento exponencial de los recursos computacionales y el crecimiento limitado de datos de texto de alta calidad ahora restringe los enfoques convencionales de escalamiento para los modelos de lenguaje grandes (LLMs, por sus siglas en inglés). Para abordar este desafío, presentamos Reinforcement Learning on Pre-Training data (RLPT), un nuevo paradigma de escalamiento durante el entrenamiento para optimizar LLMs. A diferencia de enfoques previos que escalan el entrenamiento principalmente mediante aprendizaje supervisado, RLPT permite que la política explore de manera autónoma trayectorias significativas para aprender de los datos de pre-entrenamiento y mejorar su capacidad a través del aprendizaje por refuerzo (RL, por sus siglas en inglés). Mientras que estrategias existentes de RL, como el aprendizaje por refuerzo con retroalimentación humana (RLHF) y el aprendizaje por refuerzo con recompensas verificables (RLVR), dependen de anotaciones humanas para la construcción de recompensas, RLPT elimina esta dependencia al derivar señales de recompensa directamente de los datos de pre-entrenamiento. Específicamente, adopta un objetivo de razonamiento de segmento siguiente, recompensando a la política por predecir con precisión segmentos de texto posteriores condicionados al contexto precedente. Esta formulación permite escalar RL en datos de pre-entrenamiento, fomentando la exploración de trayectorias más ricas en contextos más amplios y, por lo tanto, promoviendo habilidades de razonamiento más generalizables. Experimentos extensos en benchmarks de razonamiento general y matemático en múltiples modelos validan la efectividad de RLPT. Por ejemplo, cuando se aplica a Qwen3-4B-Base, RLPT produce mejoras absolutas de 3.0, 5.1, 8.1, 6.0, 6.6 y 5.3 en MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24 y AIME25, respectivamente. Los resultados demuestran además un comportamiento favorable de escalamiento, sugiriendo un fuerte potencial para ganancias continuas con más capacidad computacional. Además, RLPT proporciona una base sólida, extendiendo los límites de razonamiento de los LLMs y mejorando el rendimiento de RLVR.

English

The growing disparity between the exponential scaling of computational resources and the finite growth of high-quality text data now constrains conventional scaling approaches for large language models (LLMs). To address this challenge, we introduce Reinforcement Learning on Pre-Training data (RLPT), a new training-time scaling paradigm for optimizing LLMs. In contrast to prior approaches that scale training primarily through supervised learning, RLPT enables the policy to autonomously explore meaningful trajectories to learn from pre-training data and improve its capability through reinforcement learning (RL). While existing RL strategies such as reinforcement learning from human feedback (RLHF) and reinforcement learning with verifiable rewards (RLVR) rely on human annotation for reward construction, RLPT eliminates this dependency by deriving reward signals directly from pre-training data. Specifically, it adopts a next-segment reasoning objective, rewarding the policy for accurately predicting subsequent text segments conditioned on the preceding context. This formulation allows RL to be scaled on pre-training data, encouraging the exploration of richer trajectories across broader contexts and thereby fostering more generalizable reasoning skills. Extensive experiments on both general-domain and mathematical reasoning benchmarks across multiple models validate the effectiveness of RLPT. For example, when applied to Qwen3-4B-Base, RLPT yields absolute improvements of 3.0, 5.1, 8.1, 6.0, 6.6, and 5.3 on MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, and AIME25, respectively. The results further demonstrate favorable scaling behavior, suggesting strong potential for continued gains with more compute. In addition, RLPT provides a solid foundation, extending the reasoning boundaries of LLMs and enhancing RLVR performance.