Versterkend Leren op Vooraf Getrainde Gegevens

Samenvatting

De groeiende kloof tussen de exponentiële schaalvergroting van rekenbronnen en de beperkte groei van hoogwaardige tekstgegevens beperkt nu conventionele schaalbenaderingen voor grote taalmodellen (LLM's). Om deze uitdaging aan te pakken, introduceren we Reinforcement Learning on Pre-Training data (RLPT), een nieuwe trainingsschaalparadigma voor het optimaliseren van LLM's. In tegenstelling tot eerdere benaderingen die training voornamelijk schalen via supervised learning, stelt RLPT het beleid in staat om autonoom betekenisvolle trajecten te verkennen om te leren van pre-trainingsgegevens en zijn capaciteit te verbeteren via reinforcement learning (RL). Terwijl bestaande RL-strategieën zoals reinforcement learning from human feedback (RLHF) en reinforcement learning with verifiable rewards (RLVR) afhankelijk zijn van menselijke annotatie voor beloningsconstructie, elimineert RLPT deze afhankelijkheid door beloningssignalen rechtstreeks uit pre-trainingsgegevens af te leiden. Specifiek neemt het een next-segment reasoning doelstelling aan, waarbij het beleid wordt beloond voor het nauwkeurig voorspellen van opeenvolgende tekstsegmenten op basis van de voorgaande context. Deze formulering maakt het mogelijk om RL te schalen op pre-trainingsgegevens, wat de verkenning van rijkere trajecten over bredere contexten aanmoedigt en daardoor meer generaliseerbare redeneervaardigheden bevordert. Uitgebreide experimenten op zowel algemene domein- als wiskundige redeneerbenchmarks over meerdere modellen valideren de effectiviteit van RLPT. Bijvoorbeeld, wanneer toegepast op Qwen3-4B-Base, levert RLPT absolute verbeteringen op van 3.0, 5.1, 8.1, 6.0, 6.6 en 5.3 op respectievelijk MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24 en AIME25. De resultaten tonen verder een gunstig schaalgedrag, wat suggereert dat er een sterk potentieel is voor verdere winsten met meer rekenkracht. Daarnaast biedt RLPT een solide basis, die de redeneergrenzen van LLM's uitbreidt en de prestaties van RLVR verbetert.

English

The growing disparity between the exponential scaling of computational resources and the finite growth of high-quality text data now constrains conventional scaling approaches for large language models (LLMs). To address this challenge, we introduce Reinforcement Learning on Pre-Training data (RLPT), a new training-time scaling paradigm for optimizing LLMs. In contrast to prior approaches that scale training primarily through supervised learning, RLPT enables the policy to autonomously explore meaningful trajectories to learn from pre-training data and improve its capability through reinforcement learning (RL). While existing RL strategies such as reinforcement learning from human feedback (RLHF) and reinforcement learning with verifiable rewards (RLVR) rely on human annotation for reward construction, RLPT eliminates this dependency by deriving reward signals directly from pre-training data. Specifically, it adopts a next-segment reasoning objective, rewarding the policy for accurately predicting subsequent text segments conditioned on the preceding context. This formulation allows RL to be scaled on pre-training data, encouraging the exploration of richer trajectories across broader contexts and thereby fostering more generalizable reasoning skills. Extensive experiments on both general-domain and mathematical reasoning benchmarks across multiple models validate the effectiveness of RLPT. For example, when applied to Qwen3-4B-Base, RLPT yields absolute improvements of 3.0, 5.1, 8.1, 6.0, 6.6, and 5.3 on MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, and AIME25, respectively. The results further demonstrate favorable scaling behavior, suggesting strong potential for continued gains with more compute. In addition, RLPT provides a solid foundation, extending the reasoning boundaries of LLMs and enhancing RLVR performance.

Versterkend Leren op Vooraf Getrainde Gegevens

Reinforcement Learning on Pre-Training Data

Samenvatting

Support