RL-PLUS: Contrastare il Collasso dei Confini delle Capacità nei LLM nell'Apprendimento per Rinforzo con Ottimizzazione Ibrida delle Politiche

Abstract

Il Reinforcement Learning con Ricompensa Verificabile (RLVR) ha significativamente migliorato le capacità di ragionamento complesso dei Modelli Linguistici di Grande Scala (LLM). Tuttavia, fatica a superare i limiti intrinseci del modello LLM di base, a causa della sua strategia essenzialmente on-policy combinata con l'enorme spazio di azione e la ricompensa sparsa degli LLM. In modo critico, l'RLVR può portare al collasso del confine delle capacità, riducendo l'ambito di risoluzione dei problemi dell'LLM. Per affrontare questo problema, proponiamo RL-PLUS, un nuovo approccio di ottimizzazione ibrida per gli LLM che sinergizza lo sfruttamento interno con dati esterni per ottenere capacità di ragionamento più forti e superare i limiti dei modelli di base. RL-PLUS integra due componenti principali, ovvero il Campionamento Multiplo di Importanza per affrontare la mancata corrispondenza distributiva dei dati esterni, e la Funzione di Vantaggio Basata sull'Esplorazione per guidare il modello verso percorsi di ragionamento ad alto valore e inesplorati. Forniamo sia un'analisi teorica che esperimenti estesi per dimostrare la superiorità e la generalizzabilità del nostro approccio. Rispetto ai metodi RLVR esistenti, RL-PLUS raggiunge: 1) prestazioni all'avanguardia su sei benchmark di ragionamento matematico; 2) prestazioni superiori su sei compiti di ragionamento fuori distribuzione; 3) miglioramenti consistenti e significativi attraverso diverse famiglie di modelli, con miglioramenti relativi medi fino al 69,2%. Inoltre, l'analisi delle curve Pass@k indica che RL-PLUS risolve efficacemente il problema del collasso del confine delle capacità.

English

Reinforcement Learning with Verifiable Reward (RLVR) has significantly advanced the complex reasoning abilities of Large Language Models (LLMs). However, it struggles to break through the inherent capability boundaries of the base LLM, due to its essentially on-policy strategy coupled with LLM's immense action space and sparse reward. Critically, RLVR can lead to the capability boundary collapse, narrowing the LLM's problem-solving scope. To address this problem, we propose RL-PLUS, a novel hybrid-policy optimization approach for LLMs that synergizes internal exploitation with external data to achieve stronger reasoning capabilities and surpass the boundaries of base models. RL-PLUS integrates two core components, i.e., Multiple Importance Sampling to address distributional mismatch from external data, and Exploration-Based Advantage Function to guide the model towards high-value, unexplored reasoning paths. We provide both theoretical analysis and extensive experiments to demonstrate the superiority and generalizability of our approach. Compared with existing RLVR methods, RL-PLUS achieves 1) state-of-the-art performance on six math reasoning benchmarks; 2) superior performance on six out-of-distribution reasoning tasks; 3) consistent and significant gains across diverse model families, with average relative improvements up to 69.2\%. Moreover, the analysis of Pass@k curves indicates that RL-PLUS effectively resolves the capability boundary collapse problem.

RL-PLUS: Contrastare il Collasso dei Confini delle Capacità nei LLM nell'Apprendimento per Rinforzo con Ottimizzazione Ibrida delle Politiche

RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization

Abstract

Support