Aprendizado por Reforço em Dados de Pré-Treinamento

Reinforcement Learning on Pre-Training Data

September 23, 2025

Autores: Siheng Li, Kejiao Li, Zenan Xu, Guanhua Huang, Evander Yang, Kun Li, Haoyuan Wu, Jiajia Wu, Zihao Zheng, Chenchen Zhang, Kun Shi, Kyrierl Deng, Qi Yi, Ruibin Xiong, Tingqiang Xu, Yuhao Jiang, Jianfeng Yan, Yuyuan Zeng, Guanghui Xu, Jinbao Xue, Zhijiang Xu, Zheng Fang, Shuai Li, Qibin Liu, Xiaoxue Li, Zhuoyu Li, Yangyu Tao, Fei Gao, Cheng Jiang, Bo Chao Wang, Kai Liu, Jianchen Zhu, Wai Lam, Wayyt Wang, Bo Zhou, Di Wang

cs.AI

Resumo

A crescente disparidade entre a escalabilidade exponencial dos recursos computacionais e o crescimento limitado de dados textuais de alta qualidade agora restringe as abordagens convencionais de escalonamento para grandes modelos de linguagem (LLMs, na sigla em inglês). Para enfrentar esse desafio, introduzimos o Aprendizado por Reforço em Dados de Pré-treinamento (RLPT, na sigla em inglês), um novo paradigma de escalonamento durante o treinamento para otimizar LLMs. Em contraste com abordagens anteriores que escalonam o treinamento principalmente por meio de aprendizado supervisionado, o RLPT permite que a política explore autonomamente trajetórias significativas para aprender a partir de dados de pré-treinamento e aprimorar sua capacidade por meio de aprendizado por reforço (RL, na sigla em inglês). Enquanto estratégias existentes de RL, como o aprendizado por reforço com feedback humano (RLHF, na sigla em inglês) e o aprendizado por reforço com recompensas verificáveis (RLVR, na sigla em inglês), dependem de anotações humanas para a construção de recompensas, o RLPT elimina essa dependência ao derivar sinais de recompensa diretamente dos dados de pré-treinamento. Especificamente, ele adota um objetivo de raciocínio de segmento seguinte, recompensando a política por prever com precisão segmentos de texto subsequentes condicionados ao contexto anterior. Essa formulação permite que o RL seja escalonado em dados de pré-treinamento, incentivando a exploração de trajetórias mais ricas em contextos mais amplos e, assim, promovendo habilidades de raciocínio mais generalizáveis. Experimentos extensos em benchmarks de raciocínio geral e matemático em vários modelos validam a eficácia do RLPT. Por exemplo, quando aplicado ao Qwen3-4B-Base, o RLPT resulta em melhorias absolutas de 3,0, 5,1, 8,1, 6,0, 6,6 e 5,3 no MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24 e AIME25, respectivamente. Os resultados demonstram ainda um comportamento favorável de escalonamento, sugerindo um forte potencial para ganhos contínuos com mais recursos computacionais. Além disso, o RLPT fornece uma base sólida, estendendo os limites de raciocínio dos LLMs e aprimorando o desempenho do RLVR.

English

The growing disparity between the exponential scaling of computational resources and the finite growth of high-quality text data now constrains conventional scaling approaches for large language models (LLMs). To address this challenge, we introduce Reinforcement Learning on Pre-Training data (RLPT), a new training-time scaling paradigm for optimizing LLMs. In contrast to prior approaches that scale training primarily through supervised learning, RLPT enables the policy to autonomously explore meaningful trajectories to learn from pre-training data and improve its capability through reinforcement learning (RL). While existing RL strategies such as reinforcement learning from human feedback (RLHF) and reinforcement learning with verifiable rewards (RLVR) rely on human annotation for reward construction, RLPT eliminates this dependency by deriving reward signals directly from pre-training data. Specifically, it adopts a next-segment reasoning objective, rewarding the policy for accurately predicting subsequent text segments conditioned on the preceding context. This formulation allows RL to be scaled on pre-training data, encouraging the exploration of richer trajectories across broader contexts and thereby fostering more generalizable reasoning skills. Extensive experiments on both general-domain and mathematical reasoning benchmarks across multiple models validate the effectiveness of RLPT. For example, when applied to Qwen3-4B-Base, RLPT yields absolute improvements of 3.0, 5.1, 8.1, 6.0, 6.6, and 5.3 on MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, and AIME25, respectively. The results further demonstrate favorable scaling behavior, suggesting strong potential for continued gains with more compute. In addition, RLPT provides a solid foundation, extending the reasoning boundaries of LLMs and enhancing RLVR performance.