Verstärkungslernen auf Vortrainingsdaten

papers.abstract

Die zunehmende Diskrepanz zwischen dem exponentiellen Wachstum von Rechenressourcen und dem begrenzten Anstieg hochwertiger Textdaten schränkt nun konventionelle Skalierungsansätze für große Sprachmodelle (LLMs) ein. Um diese Herausforderung zu bewältigen, führen wir Reinforcement Learning on Pre-Training Data (RLPT) ein, ein neues Paradigma zur Skalierung von LLMs während des Trainings. Im Gegensatz zu früheren Ansätzen, die das Training hauptsächlich durch überwachtes Lernen skalieren, ermöglicht RLPT der Policy, eigenständig sinnvolle Trajektorien zu erkunden, um aus den Pre-Training-Daten zu lernen und ihre Fähigkeiten durch Reinforcement Learning (RL) zu verbessern. Während bestehende RL-Strategien wie Reinforcement Learning from Human Feedback (RLHF) und Reinforcement Learning with Verifiable Rewards (RLVR) auf menschliche Annotationen für die Konstruktion von Belohnungssignalen angewiesen sind, beseitigt RLPT diese Abhängigkeit, indem es Belohnungssignale direkt aus den Pre-Training-Daten ableitet. Konkret verfolgt es ein Next-Segment-Reasoning-Ziel, bei dem die Policy für die präzise Vorhersage nachfolgender Textsegmente basierend auf dem vorherigen Kontext belohnt wird. Diese Formulierung ermöglicht die Skalierung von RL auf Pre-Training-Daten, fördert die Erkundung reichhaltigerer Trajektorien über breitere Kontexte hinweg und stärkt dadurch generalisierbare Denkfähigkeiten. Umfangreiche Experimente auf allgemeinen und mathematischen Reasoning-Benchmarks über mehrere Modelle hinweg bestätigen die Wirksamkeit von RLPT. Beispielsweise führt die Anwendung von RLPT auf Qwen3-4B-Base zu absoluten Verbesserungen von 3,0, 5,1, 8,1, 6,0, 6,6 und 5,3 auf MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24 und AIME25. Die Ergebnisse zeigen zudem ein günstiges Skalierungsverhalten, was auf ein starkes Potenzial für weitere Fortschritte mit mehr Rechenleistung hindeutet. Darüber hinaus bietet RLPT eine solide Grundlage, die die Reasoning-Grenzen von LLMs erweitert und die Leistung von RLVR verbessert.

English

The growing disparity between the exponential scaling of computational resources and the finite growth of high-quality text data now constrains conventional scaling approaches for large language models (LLMs). To address this challenge, we introduce Reinforcement Learning on Pre-Training data (RLPT), a new training-time scaling paradigm for optimizing LLMs. In contrast to prior approaches that scale training primarily through supervised learning, RLPT enables the policy to autonomously explore meaningful trajectories to learn from pre-training data and improve its capability through reinforcement learning (RL). While existing RL strategies such as reinforcement learning from human feedback (RLHF) and reinforcement learning with verifiable rewards (RLVR) rely on human annotation for reward construction, RLPT eliminates this dependency by deriving reward signals directly from pre-training data. Specifically, it adopts a next-segment reasoning objective, rewarding the policy for accurately predicting subsequent text segments conditioned on the preceding context. This formulation allows RL to be scaled on pre-training data, encouraging the exploration of richer trajectories across broader contexts and thereby fostering more generalizable reasoning skills. Extensive experiments on both general-domain and mathematical reasoning benchmarks across multiple models validate the effectiveness of RLPT. For example, when applied to Qwen3-4B-Base, RLPT yields absolute improvements of 3.0, 5.1, 8.1, 6.0, 6.6, and 5.3 on MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, and AIME25, respectively. The results further demonstrate favorable scaling behavior, suggesting strong potential for continued gains with more compute. In addition, RLPT provides a solid foundation, extending the reasoning boundaries of LLMs and enhancing RLVR performance.