LaSeR: Verstärkungslernen mit Selbstbelohnung durch das letzte Token

LaSeR: Reinforcement Learning with Last-Token Self-Rewarding

October 16, 2025

papers.authors: Wenkai Yang, Weijie Liu, Ruobing Xie, Yiju Guo, Lulu Wu, Saiyong Yang, Yankai Lin

cs.AI

papers.abstract

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich kürzlich als ein zentrales Paradigma zur Verbesserung der Fähigkeiten von Large Language Models (LLMs) im Bereich des logischen Denkens etabliert. Um den Mangel an Verifizierungssignalen während der Testphase zu beheben, integrieren frühere Studien das Training der Selbstverifizierungsfähigkeit des Modells in den standardmäßigen RLVR-Prozess, wodurch die Fähigkeiten zum logischen Denken und zur Verifizierung innerhalb eines einzigen LLMs vereinheitlicht werden. Bisherige Ansätze erforderten jedoch, dass das LLM Lösungen und Selbstverifizierungen sequenziell unter Verwendung zweier separater Prompt-Vorlagen generiert, was die Effizienz erheblich reduziert. In dieser Arbeit zeigen wir theoretisch auf, dass die geschlossene Lösung des RL-Ziels der Selbstverifizierung auf eine bemerkenswert einfache Form reduziert werden kann: Die wahre Belohnung für das logische Denken einer Lösung entspricht ihrem Last-Token-Selbstbelohnungswert, der als Differenz zwischen der nächsten Token-Log-Wahrscheinlichkeit, die das Policy-Modell einem beliebigen vordefinierten Token am letzten Token der Lösung zuweist, und einem vorberechneten konstanten Wert, skaliert durch den KL-Koeffizienten, berechnet wird. Basierend auf dieser Erkenntnis schlagen wir LaSeR (Reinforcement Learning mit Last-Token-Selbstbelohnung) vor, einen Algorithmus, der den ursprünglichen RLVR-Verlust einfach um einen MSE-Verlust ergänzt, der die Last-Token-Selbstbelohnungswerte mit verifikatorbasierten Belohnungen für das logische Denken in Einklang bringt und so die Fähigkeiten zum logischen Denken und zur Selbstbelohnung von LLMs gemeinsam optimiert. Die optimierten Selbstbelohnungswerte können sowohl im Training als auch im Test verwendet werden, um die Modellleistung zu verbessern. Bemerkenswert ist, dass unser Algorithmus diese Werte aus der vorhergesagten nächsten Token-Wahrscheinlichkeitsverteilung des letzten Tokens unmittelbar nach der Generierung ableitet, wodurch nur die minimalen zusätzlichen Kosten einer zusätzlichen Token-Inferenz entstehen. Experimente zeigen, dass unsere Methode nicht nur die logische Denkleistung des Modells verbessert, sondern ihm auch eine bemerkenswerte Selbstbelohnungsfähigkeit verleiht, wodurch seine Skalierungsleistung während der Inferenz gesteigert wird.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a core paradigm for enhancing the reasoning capabilities of Large Language Models (LLMs). To address the lack of verification signals at test time, prior studies incorporate the training of model's self-verification capability into the standard RLVR process, thereby unifying reasoning and verification capabilities within a single LLM. However, previous practice requires the LLM to sequentially generate solutions and self-verifications using two separate prompt templates, which significantly reduces efficiency. In this work, we theoretically reveal that the closed-form solution to the RL objective of self-verification can be reduced to a remarkably simple form: the true reasoning reward of a solution is equal to its last-token self-rewarding score, which is computed as the difference between the policy model's next-token log-probability assigned to any pre-specified token at the solution's last token and a pre-calculated constant, scaled by the KL coefficient. Based on this insight, we propose LaSeR (Reinforcement Learning with Last-Token Self-Rewarding), an algorithm that simply augments the original RLVR loss with a MSE loss that aligns the last-token self-rewarding scores with verifier-based reasoning rewards, jointly optimizing the reasoning and self-rewarding capabilities of LLMs. The optimized self-rewarding scores can be utilized in both training and testing to enhance model performance. Notably, our algorithm derives these scores from the predicted next-token probability distribution of the last token immediately after generation, incurring only the minimal extra cost of one additional token inference. Experiments show that our method not only improves the model's reasoning performance but also equips it with remarkable self-rewarding capability, thereby boosting its inference-time scaling performance.