RLPR: Extrapolando RLVR para Domínios Gerais sem Verificadores

Resumo

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) demonstra um potencial promissor no avanço das capacidades de raciocínio dos LLMs (Modelos de Linguagem de Grande Escala). No entanto, seu sucesso permanece amplamente confinado a domínios matemáticos e de código. Essa limitação primária decorre da forte dependência de verificadores específicos de domínio, o que resulta em complexidade proibitiva e escalabilidade limitada. Para enfrentar esse desafio, nossa observação-chave é que a probabilidade intrínseca de um LLM gerar uma resposta correta em formato livre indica diretamente sua própria avaliação da recompensa de raciocínio (ou seja, quão bem o processo de raciocínio leva à resposta correta). Com base nessa percepção, propomos o RLPR, uma estrutura simples e sem verificadores que extrapola o RLVR para domínios gerais mais amplos. O RLPR utiliza as pontuações de probabilidade de tokens do próprio LLM para respostas de referência como sinal de recompensa e maximiza a recompensa esperada durante o treinamento. Descobrimos que abordar a alta variância dessa recompensa de probabilidade ruidosa é crucial para fazê-la funcionar, e propomos métodos de conversão de probabilidade para recompensa e estabilização para garantir uma recompensa precisa e estável a partir das probabilidades intrínsecas do LLM. Experimentos abrangentes em quatro benchmarks de domínio geral e três benchmarks matemáticos mostram que o RLPR melhora consistentemente as capacidades de raciocínio em ambas as áreas para modelos baseados em Gemma, Llama e Qwen. Notavelmente, o RLPR supera o VeriFree concorrente em 7,6 pontos no TheoremQA e 7,5 pontos no Minerva, e até ultrapassa abordagens fortes dependentes de modelos verificadores, como o General-Reasoner, em 1,6 ponto médio em sete benchmarks.

English

Reinforcement Learning with Verifiable Rewards (RLVR) demonstrates promising potential in advancing the reasoning capabilities of LLMs. However, its success remains largely confined to mathematical and code domains. This primary limitation stems from the heavy reliance on domain-specific verifiers, which results in prohibitive complexity and limited scalability. To address the challenge, our key observation is that LLM's intrinsic probability of generating a correct free-form answer directly indicates its own evaluation of the reasoning reward (i.e., how well the reasoning process leads to the correct answer). Building on this insight, we propose RLPR, a simple verifier-free framework that extrapolates RLVR to broader general domains. RLPR uses the LLM's own token probability scores for reference answers as the reward signal and maximizes the expected reward during training. We find that addressing the high variance of this noisy probability reward is crucial to make it work, and propose prob-to-reward and stabilizing methods to ensure a precise and stable reward from LLM intrinsic probabilities. Comprehensive experiments in four general-domain benchmarks and three mathematical benchmarks show that RLPR consistently improves reasoning capabilities in both areas for Gemma, Llama, and Qwen based models. Notably, RLPR outperforms concurrent VeriFree by 7.6 points on TheoremQA and 7.5 points on Minerva, and even surpasses strong verifier-model-dependent approaches General-Reasoner by 1.6 average points across seven benchmarks.

RLPR: Extrapolando RLVR para Domínios Gerais sem Verificadores

RLPR: Extrapolating RLVR to General Domains without Verifiers

Resumo

Support