Обучение с подкреплением на предварительно обученных данных

Reinforcement Learning on Pre-Training Data

September 23, 2025

Авторы: Siheng Li, Kejiao Li, Zenan Xu, Guanhua Huang, Evander Yang, Kun Li, Haoyuan Wu, Jiajia Wu, Zihao Zheng, Chenchen Zhang, Kun Shi, Kyrierl Deng, Qi Yi, Ruibin Xiong, Tingqiang Xu, Yuhao Jiang, Jianfeng Yan, Yuyuan Zeng, Guanghui Xu, Jinbao Xue, Zhijiang Xu, Zheng Fang, Shuai Li, Qibin Liu, Xiaoxue Li, Zhuoyu Li, Yangyu Tao, Fei Gao, Cheng Jiang, Bo Chao Wang, Kai Liu, Jianchen Zhu, Wai Lam, Wayyt Wang, Bo Zhou, Di Wang

cs.AI

Аннотация

Растущий разрыв между экспоненциальным масштабированием вычислительных ресурсов и ограниченным ростом высококачественных текстовых данных теперь сдерживает традиционные подходы к масштабированию больших языковых моделей (LLM). Для решения этой проблемы мы представляем Reinforcement Learning on Pre-Training data (RLPT) — новую парадигму масштабирования на этапе обучения, направленную на оптимизацию LLM. В отличие от предыдущих подходов, которые масштабируют обучение преимущественно через обучение с учителем, RLPT позволяет политике автономно исследовать значимые траектории для обучения на данных предварительной подготовки и улучшать свои способности с помощью обучения с подкреплением (RL). В то время как существующие стратегии RL, такие как обучение с подкреплением на основе обратной связи от человека (RLHF) и обучение с подкреплением с проверяемыми наградами (RLVR), полагаются на аннотации человека для построения наград, RLPT устраняет эту зависимость, извлекая сигналы наград непосредственно из данных предварительной подготовки. В частности, он использует цель рассуждения о следующем сегменте, вознаграждая политику за точное предсказание последующих текстовых сегментов на основе предшествующего контекста. Такая формулировка позволяет масштабировать RL на данных предварительной подготовки, стимулируя исследование более богатых траекторий в более широких контекстах и тем самым способствуя развитию более обобщаемых навыков рассуждения. Многочисленные эксперименты на бенчмарках общего назначения и математического рассуждения для нескольких моделей подтверждают эффективность RLPT. Например, при применении к Qwen3-4B-Base RLPT обеспечивает абсолютные улучшения на 3.0, 5.1, 8.1, 6.0, 6.6 и 5.3 на MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24 и AIME25 соответственно. Результаты также демонстрируют благоприятное поведение масштабирования, указывая на значительный потенциал для дальнейших улучшений при увеличении вычислительных ресурсов. Кроме того, RLPT предоставляет прочную основу, расширяя границы рассуждения LLM и повышая производительность RLVR.

English

The growing disparity between the exponential scaling of computational resources and the finite growth of high-quality text data now constrains conventional scaling approaches for large language models (LLMs). To address this challenge, we introduce Reinforcement Learning on Pre-Training data (RLPT), a new training-time scaling paradigm for optimizing LLMs. In contrast to prior approaches that scale training primarily through supervised learning, RLPT enables the policy to autonomously explore meaningful trajectories to learn from pre-training data and improve its capability through reinforcement learning (RL). While existing RL strategies such as reinforcement learning from human feedback (RLHF) and reinforcement learning with verifiable rewards (RLVR) rely on human annotation for reward construction, RLPT eliminates this dependency by deriving reward signals directly from pre-training data. Specifically, it adopts a next-segment reasoning objective, rewarding the policy for accurately predicting subsequent text segments conditioned on the preceding context. This formulation allows RL to be scaled on pre-training data, encouraging the exploration of richer trajectories across broader contexts and thereby fostering more generalizable reasoning skills. Extensive experiments on both general-domain and mathematical reasoning benchmarks across multiple models validate the effectiveness of RLPT. For example, when applied to Qwen3-4B-Base, RLPT yields absolute improvements of 3.0, 5.1, 8.1, 6.0, 6.6, and 5.3 on MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, and AIME25, respectively. The results further demonstrate favorable scaling behavior, suggesting strong potential for continued gains with more compute. In addition, RLPT provides a solid foundation, extending the reasoning boundaries of LLMs and enhancing RLVR performance.