RLPR: Estendere RLVR a Domini Generali senza Verificatori

Abstract

Il Reinforcement Learning con Ricompense Verificabili (RLVR) dimostra un potenziale promettente nel migliorare le capacità di ragionamento dei LLM. Tuttavia, il suo successo rimane largamente confinato ai domini matematici e di codice. Questa limitazione principale deriva dalla forte dipendenza da verificatori specifici per dominio, che comporta una complessità proibitiva e una scalabilità limitata. Per affrontare questa sfida, la nostra osservazione chiave è che la probabilità intrinseca di un LLM di generare una risposta corretta in forma libera indica direttamente la sua valutazione della ricompensa di ragionamento (cioè, quanto bene il processo di ragionamento porta alla risposta corretta). Basandoci su questa intuizione, proponiamo RLPR, un semplice framework senza verificatore che estrapola RLVR a domini generali più ampi. RLPR utilizza i punteggi di probabilità dei token del LLM stesso per le risposte di riferimento come segnale di ricompensa e massimizza la ricompensa attesa durante l'addestramento. Abbiamo scoperto che affrontare l'elevata varianza di questa ricompensa di probabilità rumorosa è cruciale per farla funzionare, e proponiamo metodi prob-to-reward e di stabilizzazione per garantire una ricompensa precisa e stabile dalle probabilità intrinseche del LLM. Esperimenti completi in quattro benchmark di dominio generale e tre benchmark matematici mostrano che RLPR migliora costantemente le capacità di ragionamento in entrambe le aree per i modelli basati su Gemma, Llama e Qwen. In particolare, RLPR supera il concorrente VeriFree di 7,6 punti su TheoremQA e di 7,5 punti su Minerva, e supera persino approcci forti dipendenti da modelli verificatori come General-Reasoner di una media di 1,6 punti su sette benchmark.

English

Reinforcement Learning with Verifiable Rewards (RLVR) demonstrates promising potential in advancing the reasoning capabilities of LLMs. However, its success remains largely confined to mathematical and code domains. This primary limitation stems from the heavy reliance on domain-specific verifiers, which results in prohibitive complexity and limited scalability. To address the challenge, our key observation is that LLM's intrinsic probability of generating a correct free-form answer directly indicates its own evaluation of the reasoning reward (i.e., how well the reasoning process leads to the correct answer). Building on this insight, we propose RLPR, a simple verifier-free framework that extrapolates RLVR to broader general domains. RLPR uses the LLM's own token probability scores for reference answers as the reward signal and maximizes the expected reward during training. We find that addressing the high variance of this noisy probability reward is crucial to make it work, and propose prob-to-reward and stabilizing methods to ensure a precise and stable reward from LLM intrinsic probabilities. Comprehensive experiments in four general-domain benchmarks and three mathematical benchmarks show that RLPR consistently improves reasoning capabilities in both areas for Gemma, Llama, and Qwen based models. Notably, RLPR outperforms concurrent VeriFree by 7.6 points on TheoremQA and 7.5 points on Minerva, and even surpasses strong verifier-model-dependent approaches General-Reasoner by 1.6 average points across seven benchmarks.

RLPR: Estendere RLVR a Domini Generali senza Verificatori

RLPR: Extrapolating RLVR to General Domains without Verifiers

Abstract

Support