O Aprendizado por Reforço Realmente Incentiva a Capacidade de Raciocínio em LLMs Além do Modelo Base?

Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

April 18, 2025

Autores: Yang Yue, Zhiqi Chen, Rui Lu, Andrew Zhao, Zhaokai Wang, Yang Yue, Shiji Song, Gao Huang

cs.AI

Resumo

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR, na sigla em inglês) demonstrou recentemente sucesso notável em aprimorar as capacidades de raciocínio de LLMs (Modelos de Linguagem de Grande Escala), particularmente em tarefas de matemática e programação. Acredita-se amplamente que o RLVR permite que os LLMs se autoaprimorem continuamente, adquirindo assim habilidades de raciocínio que superam a capacidade dos modelos base correspondentes. Neste estudo, no entanto, reexaminamos criticamente essa suposição ao medir a métrica pass@k com valores grandes de k para explorar o limite da capacidade de raciocínio dos modelos em uma ampla gama de famílias de modelos e benchmarks. Surpreendentemente, o RL não elicia, de fato, padrões de raciocínio fundamentalmente novos. Embora os modelos treinados com RL superem seus modelos base em valores menores de k (por exemplo, k=1), os modelos base podem alcançar uma pontuação pass@k comparável ou até maior em relação aos seus equivalentes treinados com RL em valores grandes de k. Os caminhos de raciocínio gerados pelos modelos treinados com RL já estão incluídos na distribuição de amostragem dos modelos base, sugerindo que a maioria das habilidades de raciocínio manifestadas nos modelos treinados com RL já são obtidas pelos modelos base. Uma análise mais aprofundada mostra que o treinamento com RL impulsiona o desempenho ao inclinar a distribuição de saída do modelo em direção a caminhos que têm maior probabilidade de gerar recompensas, amostrando assim respostas corretas de forma mais eficiente. Mas isso também resulta em um limite mais estreito de capacidade de raciocínio em comparação com os modelos base. Resultados semelhantes são observados em tarefas de raciocínio visual treinadas com RLVR. Além disso, descobrimos que a destilação pode genuinamente introduzir novos conhecimentos no modelo, diferentemente do RLVR. Essas descobertas destacam uma limitação crítica do RLVR no avanço das habilidades de raciocínio dos LLMs, o que nos leva a repensar fundamentalmente o impacto do treinamento com RL em LLMs de raciocínio e a necessidade de um paradigma melhor. Página do Projeto: https://limit-of-RLVR.github.io

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently demonstrated notable success in enhancing the reasoning capabilities of LLMs, particularly in mathematics and programming tasks. It is widely believed that RLVR enables LLMs to continuously self-improve, thus acquiring novel reasoning abilities that exceed corresponding base models' capacity. In this study, however, we critically re-examines this assumption by measuring the pass@k metric with large values of k to explore the reasoning capability boundary of the models across a wide range of model families and benchmarks. Surprisingly, the RL does not, in fact, elicit fundamentally new reasoning patterns. While RL-trained models outperform their base models at smaller values of k (\eg, k=1), base models can achieve a comparable or even higher pass@k score compared to their RL counterparts at large k values. The reasoning paths generated by RL-trained models are already included in the base models' sampling distribution, suggesting that most reasoning abilities manifested in RL-trained models are already obtained by base models. Further analysis shows that RL training boosts the performance by biasing the model's output distribution toward paths that are more likely to yield rewards, therefore sampling correct responses more efficiently. But this also results in a narrower reasoning capability boundary compared to base models. Similar results are observed in visual reasoning tasks trained with RLVR. Moreover, we find that distillation can genuinely introduce new knowledge into the model, different from RLVR. These findings underscore a critical limitation of RLVR in advancing LLM reasoning abilities which requires us to fundamentally rethink the impact of RL training in reasoning LLMs and the need of a better paradigm. Project Page: https://limit-of-RLVR.github.io