Waarschijnlijkheidsgebaseerde Beloningsontwerpen voor Algemeen LLM Redeneren

Likelihood-Based Reward Designs for General LLM Reasoning

February 3, 2026

Auteurs: Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier

cs.AI

Samenvatting

Het finetunen van grote taalmodellen (LLM's) op redeneerbenchmarks via reinforcement learning vereist een specifieke beloningsfunctie, vaak binair, voor elke benchmark. Dit brengt twee potentiële beperkingen met zich mee: de noodzaak om de beloning te ontwerpen, en de mogelijk schaarse aard van binaire beloningen. Hier onderzoeken we systematisch beloningen afgeleid van de waarschijnlijkheid of log-waarschijnlijkheid van het produceren van het referentieantwoord (of een andere promptvervolg aanwezig in de data), welke als voordeel hebben dat ze niet afhankelijk zijn van specifieke verifiers en op grote schaal beschikbaar zijn. Verschillende recente werken pleiten voor het gebruik van vergelijkbare beloningen (bv. VeriFree, JEPO, RLPR, NOVER). We vergelijken systematisch varianten van waarschijnlijkheidsgebaseerde beloningen met standaard baseline-methoden, waarbij we de prestaties testen op zowel standaard wiskundige redeneerbenchmarks als op lange-antwoordvragen waar geen externe verifier beschikbaar is. We constateren dat het gebruik van de log-waarschijnlijkheid van het referentieantwoord als beloning voor 'chain-of-thought' (CoT) leren de enige optie is die in alle opstellingen goed presteert. Deze beloning is ook consistent met het 'next-token' log-waarschijnlijkheidsverlies dat wordt gebruikt tijdens de pretraining. In verifieerbare settings leveren log-waarschijnlijkheidsbeloningen vergelijkbare of betere slagingspercentages op dan versterking met standaard binaire beloningen, en resulteren ze in een veel betere perplexiteit. In niet-verifieerbare settings presteren ze even goed als SFT. Aan de andere kant falen methodes gebaseerd op waarschijnlijkheid, zoals VeriFree, in niet-verifieerbare settings vanwege verdwijnende kansen om het correcte antwoord te krijgen. Over het geheel genomen vestigt dit log-waarschijnlijkheidsbeloningen als een levensvatbare methode voor CoT-finetuning, waardoor een brug wordt geslagen tussen de korte, verifieerbare en lange, niet-verifieerbare antwoordsettings.

English

Fine-tuning large language models (LLMs) on reasoning benchmarks via reinforcement learning requires a specific reward function, often binary, for each benchmark. This comes with two potential limitations: the need to design the reward, and the potentially sparse nature of binary rewards. Here, we systematically investigate rewards derived from the probability or log-probability of emitting the reference answer (or any other prompt continuation present in the data), which have the advantage of not relying on specific verifiers and being available at scale. Several recent works have advocated for the use of similar rewards (e.g., VeriFree, JEPO, RLPR, NOVER). We systematically compare variants of likelihood-based rewards with standard baselines, testing performance both on standard mathematical reasoning benchmarks, and on long-form answers where no external verifier is available. We find that using the log-probability of the reference answer as the reward for chain-of-thought (CoT) learning is the only option that performs well in all setups. This reward is also consistent with the next-token log-likelihood loss used during pretraining. In verifiable settings, log-probability rewards bring comparable or better success rates than reinforcing with standard binary rewards, and yield much better perplexity. In non-verifiable settings, they perform on par with SFT. On the other hand, methods based on probability, such as VeriFree, flatline on non-verifiable settings due to vanishing probabilities of getting the correct answer. Overall, this establishes log-probability rewards as a viable method for CoT fine-tuning, bridging the short, verifiable and long, non-verifiable answer settings.