Conception de Récompenses Basées sur la Vraisemblance pour le Raisonnement Général des LLM

Likelihood-Based Reward Designs for General LLM Reasoning

February 3, 2026

papers.authors: Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier

cs.AI

papers.abstract

L'affinage des grands modèles de langage (LLM) sur des benchmarks de raisonnement par apprentissage par renforcement nécessite une fonction de récompense spécifique, souvent binaire, pour chaque benchmark. Cela présente deux limitations potentielles : la nécessité de concevoir la récompense, et la nature potentiellement parcellaire des récompenses binaires. Ici, nous étudions systématiquement les récompenses dérivées de la probabilité ou de la log-probabilité d'émettre la réponse de référence (ou toute autre continuation de prompt présente dans les données), lesquelles présentent l'avantage de ne pas dépendre de vérificateurs spécifiques et d'être disponibles à grande échelle. Plusieurs travaux récents ont préconisé l'utilisation de récompenses similaires (par exemple, VeriFree, JEPO, RLPR, NOVER). Nous comparons systématiquement des variantes de récompenses basées sur la vraisemblance avec des lignes de base standard, en testant les performances à la fois sur des benchmarks standards de raisonnement mathématique et sur des réponses longues où aucun vérificateur externe n'est disponible. Nous constatons que l'utilisation de la log-probabilité de la réponse de référence comme récompense pour l'apprentissage par enchaînement de pensées (CoT) est la seule option qui fonctionne bien dans toutes les configurations. Cette récompense est également cohérente avec la perte de log-vraisemblance du token suivant utilisée lors du pré-entraînement. Dans des contextes vérifiables, les récompenses en log-probabilité offrent des taux de succès comparables ou supérieurs au renforcement avec des récompenses binaires standard, et produisent une perplexité bien meilleure. Dans des contextes non vérifiables, elles performent au même niveau que le Fine-Tuning Supervisé (SFT). En revanche, les méthodes basées sur la probabilité, comme VeriFree, plafonnent dans les contextes non vérifiables en raison de la probabilité négligeable d'obtenir la bonne réponse. Globalement, cela établit les récompenses en log-probabilité comme une méthode viable pour l'affinage CoT, faisant le pont entre les contextes de réponses courtes et vérifiables et ceux de réponses longues et non vérifiables.

English

Fine-tuning large language models (LLMs) on reasoning benchmarks via reinforcement learning requires a specific reward function, often binary, for each benchmark. This comes with two potential limitations: the need to design the reward, and the potentially sparse nature of binary rewards. Here, we systematically investigate rewards derived from the probability or log-probability of emitting the reference answer (or any other prompt continuation present in the data), which have the advantage of not relying on specific verifiers and being available at scale. Several recent works have advocated for the use of similar rewards (e.g., VeriFree, JEPO, RLPR, NOVER). We systematically compare variants of likelihood-based rewards with standard baselines, testing performance both on standard mathematical reasoning benchmarks, and on long-form answers where no external verifier is available. We find that using the log-probability of the reference answer as the reward for chain-of-thought (CoT) learning is the only option that performs well in all setups. This reward is also consistent with the next-token log-likelihood loss used during pretraining. In verifiable settings, log-probability rewards bring comparable or better success rates than reinforcing with standard binary rewards, and yield much better perplexity. In non-verifiable settings, they perform on par with SFT. On the other hand, methods based on probability, such as VeriFree, flatline on non-verifiable settings due to vanishing probabilities of getting the correct answer. Overall, this establishes log-probability rewards as a viable method for CoT fine-tuning, bridging the short, verifiable and long, non-verifiable answer settings.