O Aprendizado por Reforço Realmente Incentiva a Capacidade de Raciocínio em LLMs Além do Modelo Base?Does Reinforcement Learning Really Incentivize Reasoning Capacity in
LLMs Beyond the Base Model?
O Aprendizado por Reforço com Recompensas Verificáveis (RLVR, na sigla em inglês) demonstrou recentemente sucesso notável em aprimorar as capacidades de raciocínio de LLMs (Modelos de Linguagem de Grande Escala), particularmente em tarefas de matemática e programação. Acredita-se amplamente que o RLVR permite que os LLMs se autoaprimorem continuamente, adquirindo assim habilidades de raciocínio que superam a capacidade dos modelos base correspondentes. Neste estudo, no entanto, reexaminamos criticamente essa suposição ao medir a métrica pass@k com valores grandes de k para explorar o limite da capacidade de raciocínio dos modelos em uma ampla gama de famílias de modelos e benchmarks. Surpreendentemente, o RL não elicia, de fato, padrões de raciocínio fundamentalmente novos. Embora os modelos treinados com RL superem seus modelos base em valores menores de k (por exemplo, k=1), os modelos base podem alcançar uma pontuação pass@k comparável ou até maior em relação aos seus equivalentes treinados com RL em valores grandes de k. Os caminhos de raciocínio gerados pelos modelos treinados com RL já estão incluídos na distribuição de amostragem dos modelos base, sugerindo que a maioria das habilidades de raciocínio manifestadas nos modelos treinados com RL já são obtidas pelos modelos base. Uma análise mais aprofundada mostra que o treinamento com RL impulsiona o desempenho ao inclinar a distribuição de saída do modelo em direção a caminhos que têm maior probabilidade de gerar recompensas, amostrando assim respostas corretas de forma mais eficiente. Mas isso também resulta em um limite mais estreito de capacidade de raciocínio em comparação com os modelos base. Resultados semelhantes são observados em tarefas de raciocínio visual treinadas com RLVR. Além disso, descobrimos que a destilação pode genuinamente introduzir novos conhecimentos no modelo, diferentemente do RLVR. Essas descobertas destacam uma limitação crítica do RLVR no avanço das habilidades de raciocínio dos LLMs, o que nos leva a repensar fundamentalmente o impacto do treinamento com RL em LLMs de raciocínio e a necessidade de um paradigma melhor. Página do Projeto: https://limit-of-RLVR.github.io