RLPR: Extrapolatie van RLVR naar Algemene Domeinen zonder Verifiers

Samenvatting

Reinforcement Learning met Verifieerbare Beloningen (RLVR) toont veelbelovend potentieel in het verbeteren van de redeneervaardigheden van LLM's (Large Language Models). Het succes ervan blijft echter grotendeels beperkt tot wiskundige en code-domeinen. Deze primaire beperking komt voort uit de sterke afhankelijkheid van domeinspecifieke verifiers, wat leidt tot een verboden complexiteit en beperkte schaalbaarheid. Om deze uitdaging aan te pakken, is onze belangrijkste observatie dat de intrinsieke waarschijnlijkheid van een LLM om een correct vrij-vorm antwoord te genereren, direct zijn eigen evaluatie van de redeneerbeloning aangeeft (d.w.z., hoe goed het redeneerproces tot het juiste antwoord leidt). Op basis van dit inzicht stellen we RLPR voor, een eenvoudig verifier-vrij framework dat RLVR extrapoleert naar bredere algemene domeinen. RLPR gebruikt de eigen token-waarschijnlijkheidsscores van de LLM voor referentieantwoorden als het beloningssignaal en maximaliseert de verwachte beloning tijdens de training. We ontdekken dat het aanpakken van de hoge variantie van dit ruizige waarschijnlijkheidsbeloning cruciaal is om het te laten werken, en stellen prob-to-reward en stabiliserende methoden voor om een precieze en stabiele beloning te garanderen vanuit de intrinsieke waarschijnlijkheden van de LLM. Uitgebreide experimenten in vier algemene-domein benchmarks en drie wiskundige benchmarks tonen aan dat RLPR consistent de redeneervaardigheden verbetert in beide gebieden voor Gemma, Llama en Qwen gebaseerde modellen. Opmerkelijk is dat RLPR de gelijktijdige VeriFree overtreft met 7,6 punten op TheoremQA en 7,5 punten op Minerva, en zelfs sterke verifier-model-afhankelijke benaderingen zoals General-Reasoner overstijgt met gemiddeld 1,6 punten over zeven benchmarks.

English

Reinforcement Learning with Verifiable Rewards (RLVR) demonstrates promising potential in advancing the reasoning capabilities of LLMs. However, its success remains largely confined to mathematical and code domains. This primary limitation stems from the heavy reliance on domain-specific verifiers, which results in prohibitive complexity and limited scalability. To address the challenge, our key observation is that LLM's intrinsic probability of generating a correct free-form answer directly indicates its own evaluation of the reasoning reward (i.e., how well the reasoning process leads to the correct answer). Building on this insight, we propose RLPR, a simple verifier-free framework that extrapolates RLVR to broader general domains. RLPR uses the LLM's own token probability scores for reference answers as the reward signal and maximizes the expected reward during training. We find that addressing the high variance of this noisy probability reward is crucial to make it work, and propose prob-to-reward and stabilizing methods to ensure a precise and stable reward from LLM intrinsic probabilities. Comprehensive experiments in four general-domain benchmarks and three mathematical benchmarks show that RLPR consistently improves reasoning capabilities in both areas for Gemma, Llama, and Qwen based models. Notably, RLPR outperforms concurrent VeriFree by 7.6 points on TheoremQA and 7.5 points on Minerva, and even surpasses strong verifier-model-dependent approaches General-Reasoner by 1.6 average points across seven benchmarks.

RLPR: Extrapolatie van RLVR naar Algemene Domeinen zonder Verifiers

RLPR: Extrapolating RLVR to General Domains without Verifiers

Samenvatting

Support