RLPR : Extrapolation de RLVR à des domaines généraux sans vérificateurs

Résumé

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) démontre un potentiel prometteur pour améliorer les capacités de raisonnement des LLM (Large Language Models). Cependant, son succès reste largement confiné aux domaines mathématiques et de programmation. Cette limitation principale découle de la forte dépendance à des vérificateurs spécifiques à un domaine, ce qui entraîne une complexité prohibitive et une scalabilité limitée. Pour relever ce défi, notre observation clé est que la probabilité intrinsèque d'un LLM de générer une réponse correcte en texte libre indique directement sa propre évaluation de la récompense de raisonnement (c'est-à-dire dans quelle mesure le processus de raisonnement conduit à la bonne réponse). En nous appuyant sur cette intuition, nous proposons RLPR, un cadre simple sans vérificateur qui étend RLVR à des domaines généraux plus larges. RLPR utilise les scores de probabilité des tokens du LLM pour les réponses de référence comme signal de récompense et maximise la récompense attendue pendant l'entraînement. Nous constatons qu'il est crucial de traiter la forte variance de cette récompense probabiliste bruitée pour la rendre efficace, et nous proposons des méthodes de conversion probabilité-récompense et de stabilisation pour assurer une récompense précise et stable à partir des probabilités intrinsèques du LLM. Des expériences approfondies sur quatre benchmarks de domaines généraux et trois benchmarks mathématiques montrent que RLPR améliore systématiquement les capacités de raisonnement dans les deux domaines pour les modèles basés sur Gemma, Llama et Qwen. Notamment, RLPR surpasse VeriFree de 7,6 points sur TheoremQA et de 7,5 points sur Minerva, et dépasse même les approches dépendantes de modèles vérificateurs comme General-Reasoner de 1,6 point en moyenne sur sept benchmarks.

English

Reinforcement Learning with Verifiable Rewards (RLVR) demonstrates promising potential in advancing the reasoning capabilities of LLMs. However, its success remains largely confined to mathematical and code domains. This primary limitation stems from the heavy reliance on domain-specific verifiers, which results in prohibitive complexity and limited scalability. To address the challenge, our key observation is that LLM's intrinsic probability of generating a correct free-form answer directly indicates its own evaluation of the reasoning reward (i.e., how well the reasoning process leads to the correct answer). Building on this insight, we propose RLPR, a simple verifier-free framework that extrapolates RLVR to broader general domains. RLPR uses the LLM's own token probability scores for reference answers as the reward signal and maximizes the expected reward during training. We find that addressing the high variance of this noisy probability reward is crucial to make it work, and propose prob-to-reward and stabilizing methods to ensure a precise and stable reward from LLM intrinsic probabilities. Comprehensive experiments in four general-domain benchmarks and three mathematical benchmarks show that RLPR consistently improves reasoning capabilities in both areas for Gemma, Llama, and Qwen based models. Notably, RLPR outperforms concurrent VeriFree by 7.6 points on TheoremQA and 7.5 points on Minerva, and even surpasses strong verifier-model-dependent approaches General-Reasoner by 1.6 average points across seven benchmarks.

RLPR : Extrapolation de RLVR à des domaines généraux sans vérificateurs

RLPR: Extrapolating RLVR to General Domains without Verifiers

Résumé

Support