RL-PLUS: Gegensteuern des Fähigkeitsgrenzenkollapses von LLMs im Reinforcement Learning durch hybride Politikoptimierung

papers.abstract

Reinforcement Learning mit verifizierbarer Belohnung (RLVR) hat die komplexen Denkfähigkeiten von Large Language Models (LLMs) erheblich vorangetrieben. Es hat jedoch Schwierigkeiten, die inhärenten Fähigkeitsgrenzen des Basismodells zu überwinden, da es im Wesentlichen eine On-Policy-Strategie verwendet, die mit dem immensen Aktionsraum und der spärlichen Belohnung von LLMs kombiniert ist. Kritisch ist, dass RLVR zu einem Zusammenbruch der Fähigkeitsgrenzen führen kann, wodurch der Problemlösungsbereich des LLMs eingeschränkt wird. Um dieses Problem zu lösen, schlagen wir RL-PLUS vor, einen neuartigen hybriden Policy-Optimierungsansatz für LLMs, der interne Ausnutzung mit externen Daten kombiniert, um stärkere Denkfähigkeiten zu erreichen und die Grenzen der Basismodelle zu überschreiten. RL-PLUS integriert zwei Kernkomponenten, nämlich Multiple Importance Sampling, um die Verteilungsabweichung durch externe Daten zu adressieren, und eine explorationsbasierte Vorteilsfunktion, um das Modell auf hochwertige, unerforschte Denkpfade zu lenken. Wir liefern sowohl theoretische Analysen als auch umfangreiche Experimente, um die Überlegenheit und Generalisierbarkeit unseres Ansatzes zu demonstrieren. Im Vergleich zu bestehenden RLVR-Methoden erreicht RL-PLUS 1) state-of-the-art Leistung auf sechs mathematischen Denkbenchmarks; 2) überlegene Leistung bei sechs Out-of-Distribution-Denkaufgaben; 3) konsistente und signifikante Verbesserungen über verschiedene Modellfamilien hinweg, mit durchschnittlichen relativen Verbesserungen von bis zu 69,2\%. Darüber hinaus zeigt die Analyse der Pass@k-Kurven, dass RL-PLUS das Problem des Zusammenbruchs der Fähigkeitsgrenzen effektiv löst.

English

Reinforcement Learning with Verifiable Reward (RLVR) has significantly advanced the complex reasoning abilities of Large Language Models (LLMs). However, it struggles to break through the inherent capability boundaries of the base LLM, due to its essentially on-policy strategy coupled with LLM's immense action space and sparse reward. Critically, RLVR can lead to the capability boundary collapse, narrowing the LLM's problem-solving scope. To address this problem, we propose RL-PLUS, a novel hybrid-policy optimization approach for LLMs that synergizes internal exploitation with external data to achieve stronger reasoning capabilities and surpass the boundaries of base models. RL-PLUS integrates two core components, i.e., Multiple Importance Sampling to address distributional mismatch from external data, and Exploration-Based Advantage Function to guide the model towards high-value, unexplored reasoning paths. We provide both theoretical analysis and extensive experiments to demonstrate the superiority and generalizability of our approach. Compared with existing RLVR methods, RL-PLUS achieves 1) state-of-the-art performance on six math reasoning benchmarks; 2) superior performance on six out-of-distribution reasoning tasks; 3) consistent and significant gains across diverse model families, with average relative improvements up to 69.2\%. Moreover, the analysis of Pass@k curves indicates that RL-PLUS effectively resolves the capability boundary collapse problem.

RL-PLUS: Gegensteuern des Fähigkeitsgrenzenkollapses von LLMs im Reinforcement Learning durch hybride Politikoptimierung

RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization

papers.abstract

Support