RL-PLUS : Contrer l'effondrement des limites de capacité des LLM dans l'apprentissage par renforcement grâce à une optimisation hybride des politiques

papers.abstract

L'apprentissage par renforcement avec récompense vérifiable (RLVR) a considérablement amélioré les capacités de raisonnement complexe des grands modèles de langage (LLM). Cependant, il peine à dépasser les limites inhérentes du LLM de base, en raison de sa stratégie essentiellement on-policy, couplée à l'immense espace d'actions des LLM et à la rareté des récompenses. De manière critique, le RLVR peut entraîner un effondrement des limites de capacité, réduisant ainsi la portée de résolution de problèmes du LLM. Pour résoudre ce problème, nous proposons RL-PLUS, une nouvelle approche d'optimisation hybride pour les LLM qui combine l'exploitation interne avec des données externes pour atteindre des capacités de raisonnement plus robustes et dépasser les limites des modèles de base. RL-PLUS intègre deux composants clés : l'échantillonnage multiple d'importance pour résoudre le décalage distributionnel des données externes, et la fonction d'avantage basée sur l'exploration pour guider le modèle vers des chemins de raisonnement à haute valeur et inexplorés. Nous fournissons à la fois une analyse théorique et des expériences approfondies pour démontrer la supériorité et la généralisabilité de notre approche. Par rapport aux méthodes RLVR existantes, RL-PLUS obtient 1) des performances de pointe sur six benchmarks de raisonnement mathématique ; 2) des performances supérieures sur six tâches de raisonnement hors distribution ; 3) des gains constants et significatifs à travers diverses familles de modèles, avec des améliorations relatives moyennes allant jusqu'à 69,2 %. De plus, l'analyse des courbes Pass@k indique que RL-PLUS résout efficacement le problème d'effondrement des limites de capacité.

English

Reinforcement Learning with Verifiable Reward (RLVR) has significantly advanced the complex reasoning abilities of Large Language Models (LLMs). However, it struggles to break through the inherent capability boundaries of the base LLM, due to its essentially on-policy strategy coupled with LLM's immense action space and sparse reward. Critically, RLVR can lead to the capability boundary collapse, narrowing the LLM's problem-solving scope. To address this problem, we propose RL-PLUS, a novel hybrid-policy optimization approach for LLMs that synergizes internal exploitation with external data to achieve stronger reasoning capabilities and surpass the boundaries of base models. RL-PLUS integrates two core components, i.e., Multiple Importance Sampling to address distributional mismatch from external data, and Exploration-Based Advantage Function to guide the model towards high-value, unexplored reasoning paths. We provide both theoretical analysis and extensive experiments to demonstrate the superiority and generalizability of our approach. Compared with existing RLVR methods, RL-PLUS achieves 1) state-of-the-art performance on six math reasoning benchmarks; 2) superior performance on six out-of-distribution reasoning tasks; 3) consistent and significant gains across diverse model families, with average relative improvements up to 69.2\%. Moreover, the analysis of Pass@k curves indicates that RL-PLUS effectively resolves the capability boundary collapse problem.

RL-PLUS : Contrer l'effondrement des limites de capacité des LLM dans l'apprentissage par renforcement grâce à une optimisation hybride des politiques

RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization

papers.abstract

Support