RL-PLUS: Противодействие коллапсу границ возможностей крупных языковых моделей в обучении с подкреплением с помощью гибридной оптимизации политик

RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization

July 31, 2025

Авторы: Yihong Dong, Xue Jiang, Yongding Tao, Huanyu Liu, Kechi Zhang, Lili Mou, Rongyu Cao, Yingwei Ma, Jue Chen, Binhua Li, Zhi Jin, Fei Huang, Yongbin Li, Ge Li

cs.AI

Аннотация

Обучение с подкреплением с верифицируемой наградой (RLVR) значительно улучшило способности крупных языковых моделей (LLM) к сложным рассуждениям. Однако этот подход сталкивается с трудностями в преодолении внутренних ограничений базовой LLM из-за своей по сути он-политичной стратегии, сочетающейся с огромным пространством действий и редкими наградами в LLM. Критически важно, что RLVR может привести к коллапсу границ возможностей, сужая спектр решаемых LLM задач. Для решения этой проблемы мы предлагаем RL-PLUS — новый гибридный подход к оптимизации политик для LLM, который сочетает внутреннее использование возможностей модели с внешними данными для достижения более сильных способностей к рассуждениям и преодоления ограничений базовых моделей. RL-PLUS интегрирует два ключевых компонента: множественное важностное сэмплирование для устранения несоответствия распределений внешних данных и функцию преимущества на основе исследования, которая направляет модель к высокоценным, неизученным путям рассуждений. Мы предоставляем как теоретический анализ, так и обширные эксперименты, демонстрирующие превосходство и универсальность нашего подхода. По сравнению с существующими методами RLVR, RL-PLUS достигает: 1) наилучших результатов на шести бенчмарках математических рассуждений; 2) превосходной производительности на шести задачах рассуждений вне распределения; 3) стабильного и значительного улучшения в различных семействах моделей, с относительным улучшением до 69,2%. Кроме того, анализ кривых Pass@k показывает, что RL-PLUS эффективно решает проблему коллапса границ возможностей.

English

Reinforcement Learning with Verifiable Reward (RLVR) has significantly advanced the complex reasoning abilities of Large Language Models (LLMs). However, it struggles to break through the inherent capability boundaries of the base LLM, due to its essentially on-policy strategy coupled with LLM's immense action space and sparse reward. Critically, RLVR can lead to the capability boundary collapse, narrowing the LLM's problem-solving scope. To address this problem, we propose RL-PLUS, a novel hybrid-policy optimization approach for LLMs that synergizes internal exploitation with external data to achieve stronger reasoning capabilities and surpass the boundaries of base models. RL-PLUS integrates two core components, i.e., Multiple Importance Sampling to address distributional mismatch from external data, and Exploration-Based Advantage Function to guide the model towards high-value, unexplored reasoning paths. We provide both theoretical analysis and extensive experiments to demonstrate the superiority and generalizability of our approach. Compared with existing RLVR methods, RL-PLUS achieves 1) state-of-the-art performance on six math reasoning benchmarks; 2) superior performance on six out-of-distribution reasoning tasks; 3) consistent and significant gains across diverse model families, with average relative improvements up to 69.2\%. Moreover, the analysis of Pass@k curves indicates that RL-PLUS effectively resolves the capability boundary collapse problem.