RL-PLUS: Contrarrestando el Colapso de los Límites de Capacidad en los LLMs en Aprendizaje por Refuerzo con Optimización de Política Híbrida

Resumen

El Aprendizaje por Refuerzo con Recompensa Verificable (RLVR, por sus siglas en inglés) ha avanzado significativamente las capacidades de razonamiento complejo de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés). Sin embargo, enfrenta dificultades para superar los límites inherentes de capacidad del LLM base, debido a su estrategia esencialmente on-policy combinada con el amplio espacio de acciones y la recompensa dispersa de los LLMs. De manera crítica, RLVR puede llevar al colapso del límite de capacidad, reduciendo el alcance de resolución de problemas del LLM. Para abordar este problema, proponemos RL-PLUS, un novedoso enfoque de optimización de política híbrida para LLMs que sinergiza la explotación interna con datos externos para lograr capacidades de razonamiento más robustas y superar los límites de los modelos base. RL-PLUS integra dos componentes principales: el Muestreo de Importancia Múltiple para abordar el desajuste distribucional de los datos externos, y la Función de Ventaja Basada en Exploración para guiar al modelo hacia caminos de razonamiento de alto valor y no explorados. Proporcionamos tanto análisis teórico como experimentos extensos para demostrar la superioridad y generalizabilidad de nuestro enfoque. En comparación con los métodos RLVR existentes, RL-PLUS logra: 1) un rendimiento de vanguardia en seis benchmarks de razonamiento matemático; 2) un rendimiento superior en seis tareas de razonamiento fuera de distribución; 3) ganancias consistentes y significativas en diversas familias de modelos, con mejoras relativas promedio de hasta el 69,2%. Además, el análisis de las curvas Pass@k indica que RL-PLUS resuelve efectivamente el problema del colapso del límite de capacidad.

English

Reinforcement Learning with Verifiable Reward (RLVR) has significantly advanced the complex reasoning abilities of Large Language Models (LLMs). However, it struggles to break through the inherent capability boundaries of the base LLM, due to its essentially on-policy strategy coupled with LLM's immense action space and sparse reward. Critically, RLVR can lead to the capability boundary collapse, narrowing the LLM's problem-solving scope. To address this problem, we propose RL-PLUS, a novel hybrid-policy optimization approach for LLMs that synergizes internal exploitation with external data to achieve stronger reasoning capabilities and surpass the boundaries of base models. RL-PLUS integrates two core components, i.e., Multiple Importance Sampling to address distributional mismatch from external data, and Exploration-Based Advantage Function to guide the model towards high-value, unexplored reasoning paths. We provide both theoretical analysis and extensive experiments to demonstrate the superiority and generalizability of our approach. Compared with existing RLVR methods, RL-PLUS achieves 1) state-of-the-art performance on six math reasoning benchmarks; 2) superior performance on six out-of-distribution reasoning tasks; 3) consistent and significant gains across diverse model families, with average relative improvements up to 69.2\%. Moreover, the analysis of Pass@k curves indicates that RL-PLUS effectively resolves the capability boundary collapse problem.

RL-PLUS: Contrarrestando el Colapso de los Límites de Capacidad en los LLMs en Aprendizaje por Refuerzo con Optimización de Política Híbrida

RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization

Resumen

Support