Стимулирует ли обучение с подкреплением действительно развитие способности к рассуждению в больших языковых моделях за пределами базовой модели?

Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

April 18, 2025

Авторы: Yang Yue, Zhiqi Chen, Rui Lu, Andrew Zhao, Zhaokai Wang, Yang Yue, Shiji Song, Gao Huang

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми наградами (RLVR) недавно продемонстрировало значительный успех в улучшении способностей крупных языковых моделей (LLM) к рассуждению, особенно в задачах математики и программирования. Широко распространено мнение, что RLVR позволяет LLM непрерывно самосовершенствоваться, приобретая новые способности к рассуждению, которые превосходят возможности базовых моделей. Однако в данном исследовании мы критически пересматриваем это предположение, измеряя метрику pass@k при больших значениях k, чтобы изучить границы способностей моделей к рассуждению в широком спектре семейств моделей и бенчмарков. Удивительно, но RL на самом деле не вызывает принципиально новых паттернов рассуждения. Хотя модели, обученные с RL, превосходят свои базовые версии при меньших значениях k (например, k=1), базовые модели могут достичь сопоставимого или даже более высокого показателя pass@k по сравнению с их RL-аналогами при больших значениях k. Пути рассуждения, генерируемые моделями, обученными с RL, уже включены в распределение выборки базовых моделей, что свидетельствует о том, что большинство способностей к рассуждению, проявляемых в RL-обученных моделях, уже доступны базовым моделям. Дополнительный анализ показывает, что обучение с RL повышает производительность, смещая распределение выходных данных модели в сторону путей, которые с большей вероятностью принесут награду, тем самым более эффективно выбирая правильные ответы. Однако это также приводит к более узкой границе способностей к рассуждению по сравнению с базовыми моделями. Подобные результаты наблюдаются и в задачах визуального рассуждения, обученных с RLVR. Более того, мы обнаруживаем, что дистилляция может действительно вносить новые знания в модель, в отличие от RLVR. Эти результаты подчеркивают критическое ограничение RLVR в продвижении способностей LLM к рассуждению, что заставляет нас фундаментально переосмыслить влияние RL-обучения на модели рассуждения и необходимость поиска лучшей парадигмы. Страница проекта: https://limit-of-RLVR.github.io

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently demonstrated notable success in enhancing the reasoning capabilities of LLMs, particularly in mathematics and programming tasks. It is widely believed that RLVR enables LLMs to continuously self-improve, thus acquiring novel reasoning abilities that exceed corresponding base models' capacity. In this study, however, we critically re-examines this assumption by measuring the pass@k metric with large values of k to explore the reasoning capability boundary of the models across a wide range of model families and benchmarks. Surprisingly, the RL does not, in fact, elicit fundamentally new reasoning patterns. While RL-trained models outperform their base models at smaller values of k (\eg, k=1), base models can achieve a comparable or even higher pass@k score compared to their RL counterparts at large k values. The reasoning paths generated by RL-trained models are already included in the base models' sampling distribution, suggesting that most reasoning abilities manifested in RL-trained models are already obtained by base models. Further analysis shows that RL training boosts the performance by biasing the model's output distribution toward paths that are more likely to yield rewards, therefore sampling correct responses more efficiently. But this also results in a narrower reasoning capability boundary compared to base models. Similar results are observed in visual reasoning tasks trained with RLVR. Moreover, we find that distillation can genuinely introduce new knowledge into the model, different from RLVR. These findings underscore a critical limitation of RLVR in advancing LLM reasoning abilities which requires us to fundamentally rethink the impact of RL training in reasoning LLMs and the need of a better paradigm. Project Page: https://limit-of-RLVR.github.io