Wahrscheinlichkeitsbasierte Belohnungsentwürfe für allgemeines LLM-Reasoning
Likelihood-Based Reward Designs for General LLM Reasoning
February 3, 2026
papers.authors: Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier
cs.AI
papers.abstract
Das Feinabstimmen großer Sprachmodelle (LLMs) auf Reasoning-Benchmarks mittels Verstärkendem Lernen erfordert eine spezifische, oft binäre Belohnungsfunktion für jeden Benchmark. Dies bringt zwei potenzielle Einschränkungen mit sich: die Notwendigkeit, die Belohnung zu entwerfen, und die potenziell spärliche Natur binärer Belohnungen. Hier untersuchen wir systematisch Belohnungen, die von der Wahrscheinlichkeit oder Log-Wahrscheinlichkeit abgeleitet sind, die Referenzantwort (oder eine andere in den Daten vorhandene Prompt-Fortsetzung) zu generieren. Diese haben den Vorteil, dass sie nicht auf spezifische Verifizierer angewiesen sind und in großem Maßstab verfügbar sind. Mehrere aktuelle Arbeiten haben die Verwendung ähnlicher Belohnungen befürwortet (z.B. VeriFree, JEPO, RLPR, NOVER). Wir vergleichen systematisch Varianten von wahrscheinlichkeitsbasierten Belohnungen mit Standard-Baselines und testen die Leistung sowohl auf standardisierten mathematischen Reasoning-Benchmarks als auch bei Langform-Antworten, für die kein externer Verifizierer verfügbar ist. Wir stellen fest, dass die Verwendung der Log-Wahrscheinlichkeit der Referenzantwort als Belohnung für Chain-of-Thought (CoT)-Lernen die einzige Option ist, die in allen Setups gut abschneidet. Diese Belohnung ist auch konsistent mit dem Next-Token-Log-Likelihood-Verlust, der während des Vorabtrainings verwendet wird. In verifizierbaren Settings erzielen Log-Wahrscheinlichkeits-Belohnungen vergleichbare oder bessere Erfolgsquoten als die Verstärkung mit Standard-Binärbelohnungen und führen zu einer viel besseren Perplexität. In nicht verifizierbaren Settings schneiden sie auf Augenhöhe mit SFT ab. Andererseits scheitern Methoden, die auf Wahrscheinlichkeit basieren, wie VeriFree, in nicht verifizierbaren Settings aufgrund der gegen Null gehenden Wahrscheinlichkeiten, die korrekte Antwort zu erhalten. Insgesamt etabliert dies Log-Wahrscheinlichkeits-Belohnungen als eine praktikable Methode für das CoT-Fine-Tuning, die die kurzen, verifizierbaren und die langen, nicht verifizierbaren Antwort-Settings miteinander verbindet.
English
Fine-tuning large language models (LLMs) on reasoning benchmarks via reinforcement learning requires a specific reward function, often binary, for each benchmark. This comes with two potential limitations: the need to design the reward, and the potentially sparse nature of binary rewards. Here, we systematically investigate rewards derived from the probability or log-probability of emitting the reference answer (or any other prompt continuation present in the data), which have the advantage of not relying on specific verifiers and being available at scale. Several recent works have advocated for the use of similar rewards (e.g., VeriFree, JEPO, RLPR, NOVER). We systematically compare variants of likelihood-based rewards with standard baselines, testing performance both on standard mathematical reasoning benchmarks, and on long-form answers where no external verifier is available. We find that using the log-probability of the reference answer as the reward for chain-of-thought (CoT) learning is the only option that performs well in all setups. This reward is also consistent with the next-token log-likelihood loss used during pretraining. In verifiable settings, log-probability rewards bring comparable or better success rates than reinforcing with standard binary rewards, and yield much better perplexity. In non-verifiable settings, they perform on par with SFT. On the other hand, methods based on probability, such as VeriFree, flatline on non-verifiable settings due to vanishing probabilities of getting the correct answer. Overall, this establishes log-probability rewards as a viable method for CoT fine-tuning, bridging the short, verifiable and long, non-verifiable answer settings.