LaSeR : Apprentissage par Renforcement avec Auto-Récompense sur le Dernier Token

LaSeR: Reinforcement Learning with Last-Token Self-Rewarding

October 16, 2025

papers.authors: Wenkai Yang, Weijie Liu, Ruobing Xie, Yiju Guo, Lulu Wu, Saiyong Yang, Yankai Lin

cs.AI

papers.abstract

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) a récemment émergé comme un paradigme central pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Pour pallier le manque de signaux de vérification lors des tests, les études antérieures intègrent l'entraînement de la capacité d'auto-vérification du modèle dans le processus standard de RLVR, unifiant ainsi les capacités de raisonnement et de vérification au sein d'un seul LLM. Cependant, les pratiques précédentes nécessitent que le LLM génère séquentiellement des solutions et des auto-vérifications en utilisant deux modèles de prompts distincts, ce qui réduit considérablement l'efficacité. Dans ce travail, nous révélons théoriquement que la solution en forme fermée à l'objectif de RL d'auto-vérification peut être réduite à une forme remarquablement simple : la récompense de raisonnement vraie d'une solution est égale à son score d'auto-récompense du dernier token, calculé comme la différence entre la probabilité logarithmique du token suivant assignée par le modèle de politique à un token prédéfini au dernier token de la solution et une constante précalculée, mise à l'échelle par le coefficient de KL. Sur la base de cette intuition, nous proposons LaSeR (Reinforcement Learning with Last-Token Self-Rewarding), un algorithme qui augmente simplement la perte RLVR originale avec une perte MSE qui aligne les scores d'auto-récompense du dernier token avec les récompenses de raisonnement basées sur un vérificateur, optimisant conjointement les capacités de raisonnement et d'auto-récompense des LLM. Les scores d'auto-récompense optimisés peuvent être utilisés à la fois pendant l'entraînement et les tests pour améliorer les performances du modèle. Notamment, notre algorithme dérive ces scores à partir de la distribution de probabilité prédite du token suivant du dernier token immédiatement après la génération, entraînant seulement le coût supplémentaire minimal d'une inférence de token supplémentaire. Les expériences montrent que notre méthode améliore non seulement les performances de raisonnement du modèle, mais lui confère également une capacité d'auto-récompense remarquable, renforçant ainsi ses performances de mise à l'échelle lors de l'inférence.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a core paradigm for enhancing the reasoning capabilities of Large Language Models (LLMs). To address the lack of verification signals at test time, prior studies incorporate the training of model's self-verification capability into the standard RLVR process, thereby unifying reasoning and verification capabilities within a single LLM. However, previous practice requires the LLM to sequentially generate solutions and self-verifications using two separate prompt templates, which significantly reduces efficiency. In this work, we theoretically reveal that the closed-form solution to the RL objective of self-verification can be reduced to a remarkably simple form: the true reasoning reward of a solution is equal to its last-token self-rewarding score, which is computed as the difference between the policy model's next-token log-probability assigned to any pre-specified token at the solution's last token and a pre-calculated constant, scaled by the KL coefficient. Based on this insight, we propose LaSeR (Reinforcement Learning with Last-Token Self-Rewarding), an algorithm that simply augments the original RLVR loss with a MSE loss that aligns the last-token self-rewarding scores with verifier-based reasoning rewards, jointly optimizing the reasoning and self-rewarding capabilities of LLMs. The optimized self-rewarding scores can be utilized in both training and testing to enhance model performance. Notably, our algorithm derives these scores from the predicted next-token probability distribution of the last token immediately after generation, incurring only the minimal extra cost of one additional token inference. Experiments show that our method not only improves the model's reasoning performance but also equips it with remarkable self-rewarding capability, thereby boosting its inference-time scaling performance.