사전 훈련 데이터에 대한 강화 학습

초록

계산 자원의 기하급수적 확장과 고품질 텍스트 데이터의 유한한 성장 간의 격차가 점점 커지면서, 대규모 언어 모델(LLM)의 기존 확장 접근 방식이 제약을 받고 있습니다. 이러한 문제를 해결하기 위해, 우리는 사전 학습 데이터에 대한 강화 학습(Reinforcement Learning on Pre-Training data, RLPT)이라는 새로운 학습 시점 확장 패러다임을 제안합니다. 주로 지도 학습을 통해 학습을 확장해 온 기존 접근 방식과 달리, RLPT는 정책이 사전 학습 데이터를 통해 의미 있는 경로를 자율적으로 탐색하고 강화 학습(RL)을 통해 능력을 향상시킬 수 있도록 합니다. 인간 피드백을 통한 강화 학습(RLHF)이나 검증 가능한 보상을 활용한 강화 학습(RLVR)과 같은 기존 RL 전략은 보상 구성을 위해 인간의 주석에 의존하지만, RLPT는 사전 학습 데이터에서 직접 보상 신호를 도출함으로써 이러한 의존성을 제거합니다. 구체적으로, RLPT는 다음 세그먼트 추론 목표를 채택하여, 이전 문맥을 조건으로 후속 텍스트 세그먼트를 정확히 예측하는 정책에 보상을 제공합니다. 이 공식화는 사전 학습 데이터에 대해 RL을 확장할 수 있도록 하여, 더 넓은 문맥에서 더 풍부한 경로를 탐색하도록 유도함으로써 보다 일반화 가능한 추론 능력을 촉진합니다. 다양한 모델에 대한 일반 도메인 및 수학적 추론 벤치마크에서의 광범위한 실험을 통해 RLPT의 효과가 검증되었습니다. 예를 들어, Qwen3-4B-Base에 RLPT를 적용했을 때, MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, AIME25에서 각각 3.0, 5.1, 8.1, 6.0, 6.6, 5.3의 절대적 성능 향상을 보였습니다. 이러한 결과는 더 많은 계산 자원을 투입할 경우 지속적인 성능 향상이 가능함을 시사하는 유리한 확장 동작을 보여줍니다. 또한, RLPT는 LLM의 추론 경계를 확장하고 RLVR 성능을 향상시키는 견고한 기반을 제공합니다.

English

The growing disparity between the exponential scaling of computational resources and the finite growth of high-quality text data now constrains conventional scaling approaches for large language models (LLMs). To address this challenge, we introduce Reinforcement Learning on Pre-Training data (RLPT), a new training-time scaling paradigm for optimizing LLMs. In contrast to prior approaches that scale training primarily through supervised learning, RLPT enables the policy to autonomously explore meaningful trajectories to learn from pre-training data and improve its capability through reinforcement learning (RL). While existing RL strategies such as reinforcement learning from human feedback (RLHF) and reinforcement learning with verifiable rewards (RLVR) rely on human annotation for reward construction, RLPT eliminates this dependency by deriving reward signals directly from pre-training data. Specifically, it adopts a next-segment reasoning objective, rewarding the policy for accurately predicting subsequent text segments conditioned on the preceding context. This formulation allows RL to be scaled on pre-training data, encouraging the exploration of richer trajectories across broader contexts and thereby fostering more generalizable reasoning skills. Extensive experiments on both general-domain and mathematical reasoning benchmarks across multiple models validate the effectiveness of RLPT. For example, when applied to Qwen3-4B-Base, RLPT yields absolute improvements of 3.0, 5.1, 8.1, 6.0, 6.6, and 5.3 on MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, and AIME25, respectively. The results further demonstrate favorable scaling behavior, suggesting strong potential for continued gains with more compute. In addition, RLPT provides a solid foundation, extending the reasoning boundaries of LLMs and enhancing RLVR performance.

사전 훈련 데이터에 대한 강화 학습

Reinforcement Learning on Pre-Training Data

초록

Support