RLPR: Extrapolando RLVR a Dominios Generales sin Verificadores

Resumen

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) demuestra un potencial prometedor para avanzar en las capacidades de razonamiento de los Modelos de Lenguaje de Gran Escala (LLMs). Sin embargo, su éxito sigue estando principalmente confinado a dominios matemáticos y de código. Esta limitación principal surge de la fuerte dependencia de verificadores específicos del dominio, lo que resulta en una complejidad prohibitiva y una escalabilidad limitada. Para abordar este desafío, nuestra observación clave es que la probabilidad intrínseca de un LLM de generar una respuesta correcta en formato libre indica directamente su propia evaluación de la recompensa de razonamiento (es decir, qué tan bien el proceso de razonamiento conduce a la respuesta correcta). Basándonos en esta idea, proponemos RLPR, un marco simple sin verificadores que extrapola RLVR a dominios generales más amplios. RLPR utiliza las puntuaciones de probabilidad de los tokens del propio LLM para respuestas de referencia como señal de recompensa y maximiza la recompensa esperada durante el entrenamiento. Descubrimos que abordar la alta varianza de esta recompensa de probabilidad ruidosa es crucial para que funcione, y proponemos métodos de conversión de probabilidad a recompensa y de estabilización para garantizar una recompensa precisa y estable a partir de las probabilidades intrínsecas del LLM. Experimentos exhaustivos en cuatro puntos de referencia de dominio general y tres puntos de referencia matemáticos muestran que RLPR mejora consistentemente las capacidades de razonamiento en ambas áreas para modelos basados en Gemma, Llama y Qwen. Notablemente, RLPR supera a VeriFree concurrente en 7.6 puntos en TheoremQA y 7.5 puntos en Minerva, e incluso supera a enfoques fuertes dependientes de modelos verificadores como General-Reasoner en un promedio de 1.6 puntos en siete puntos de referencia.

English

Reinforcement Learning with Verifiable Rewards (RLVR) demonstrates promising potential in advancing the reasoning capabilities of LLMs. However, its success remains largely confined to mathematical and code domains. This primary limitation stems from the heavy reliance on domain-specific verifiers, which results in prohibitive complexity and limited scalability. To address the challenge, our key observation is that LLM's intrinsic probability of generating a correct free-form answer directly indicates its own evaluation of the reasoning reward (i.e., how well the reasoning process leads to the correct answer). Building on this insight, we propose RLPR, a simple verifier-free framework that extrapolates RLVR to broader general domains. RLPR uses the LLM's own token probability scores for reference answers as the reward signal and maximizes the expected reward during training. We find that addressing the high variance of this noisy probability reward is crucial to make it work, and propose prob-to-reward and stabilizing methods to ensure a precise and stable reward from LLM intrinsic probabilities. Comprehensive experiments in four general-domain benchmarks and three mathematical benchmarks show that RLPR consistently improves reasoning capabilities in both areas for Gemma, Llama, and Qwen based models. Notably, RLPR outperforms concurrent VeriFree by 7.6 points on TheoremQA and 7.5 points on Minerva, and even surpasses strong verifier-model-dependent approaches General-Reasoner by 1.6 average points across seven benchmarks.

RLPR: Extrapolando RLVR a Dominios Generales sin Verificadores

RLPR: Extrapolating RLVR to General Domains without Verifiers

Resumen

Support