RL-PLUS: Combatendo o Colapso da Fronteira de Capacidade de LLMs em Aprendizado por Reforço com Otimização de Política Híbrida

Resumo

O Aprendizado por Reforço com Recompensa Verificável (RLVR) avançou significativamente as habilidades de raciocínio complexo dos Modelos de Linguagem de Grande Escala (LLMs). No entanto, ele enfrenta dificuldades para superar os limites inerentes de capacidade do LLM base, devido à sua estratégia essencialmente on-policy combinada com o espaço de ação imenso e a recompensa esparsa dos LLMs. De forma crítica, o RLVR pode levar ao colapso da fronteira de capacidade, reduzindo o escopo de resolução de problemas do LLM. Para abordar esse problema, propomos o RL-PLUS, uma nova abordagem de otimização de política híbrida para LLMs que sinergiza a exploração interna com dados externos para alcançar capacidades de raciocínio mais robustas e superar os limites dos modelos base. O RL-PLUS integra dois componentes principais: a Amostragem de Importância Múltipla, para lidar com o desajuste distribucional dos dados externos, e a Função de Vantagem Baseada em Exploração, para guiar o modelo em direção a caminhos de raciocínio de alto valor e inexplorados. Fornecemos tanto análise teórica quanto experimentos extensivos para demonstrar a superioridade e generalizabilidade de nossa abordagem. Em comparação com os métodos RLVR existentes, o RL-PLUS alcança: 1) desempenho de ponta em seis benchmarks de raciocínio matemático; 2) desempenho superior em seis tarefas de raciocínio fora da distribuição; 3) ganhos consistentes e significativos em diversas famílias de modelos, com melhorias relativas médias de até 69,2%. Além disso, a análise das curvas Pass@k indica que o RL-PLUS resolve efetivamente o problema do colapso da fronteira de capacidade.

English

Reinforcement Learning with Verifiable Reward (RLVR) has significantly advanced the complex reasoning abilities of Large Language Models (LLMs). However, it struggles to break through the inherent capability boundaries of the base LLM, due to its essentially on-policy strategy coupled with LLM's immense action space and sparse reward. Critically, RLVR can lead to the capability boundary collapse, narrowing the LLM's problem-solving scope. To address this problem, we propose RL-PLUS, a novel hybrid-policy optimization approach for LLMs that synergizes internal exploitation with external data to achieve stronger reasoning capabilities and surpass the boundaries of base models. RL-PLUS integrates two core components, i.e., Multiple Importance Sampling to address distributional mismatch from external data, and Exploration-Based Advantage Function to guide the model towards high-value, unexplored reasoning paths. We provide both theoretical analysis and extensive experiments to demonstrate the superiority and generalizability of our approach. Compared with existing RLVR methods, RL-PLUS achieves 1) state-of-the-art performance on six math reasoning benchmarks; 2) superior performance on six out-of-distribution reasoning tasks; 3) consistent and significant gains across diverse model families, with average relative improvements up to 69.2\%. Moreover, the analysis of Pass@k curves indicates that RL-PLUS effectively resolves the capability boundary collapse problem.

RL-PLUS: Combatendo o Colapso da Fronteira de Capacidade de LLMs em Aprendizado por Reforço com Otimização de Política Híbrida

RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization

Resumo

Support