LaSeR: Reinforcement Learning met Zelfbeloning op Laatste Token

LaSeR: Reinforcement Learning with Last-Token Self-Rewarding

October 16, 2025

Auteurs: Wenkai Yang, Weijie Liu, Ruobing Xie, Yiju Guo, Lulu Wu, Saiyong Yang, Yankai Lin

cs.AI

Samenvatting

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is recent naar voren gekomen als een kernparadigma voor het verbeteren van de redeneervaardigheden van Grote Taalmodellen (LLMs). Om het gebrek aan verificatiesignalen tijdens de testfase aan te pakken, hebben eerdere studies de training van het zelfverificatievermogen van het model geïntegreerd in het standaard RLVR-proces, waardoor redeneer- en verificatievaardigheden worden verenigd binnen een enkel LLM. Eerdere praktijken vereisten echter dat het LLM sequentieel oplossingen en zelfverificaties genereerde met behulp van twee afzonderlijke promptsjablonen, wat de efficiëntie aanzienlijk verminderde. In dit werk tonen we theoretisch aan dat de gesloten oplossing voor het RL-doel van zelfverificatie kan worden teruggebracht tot een opmerkelijk eenvoudige vorm: de echte redeneerbeloning van een oplossing is gelijk aan de laatste-token zelfbeloningsscore, die wordt berekend als het verschil tussen de volgende-token log-waarschijnlijkheid die het beleidsmodel toekent aan een vooraf gespecificeerde token bij de laatste token van de oplossing en een vooraf berekende constante, geschaald door de KL-coëfficiënt. Op basis van dit inzicht stellen we LaSeR (Reinforcement Learning met Laatste-Token Zelfbeloning) voor, een algoritme dat eenvoudigweg het oorspronkelijke RLVR-verlies uitbreidt met een MSE-verlies dat de laatste-token zelfbeloningsscores afstemt op verificatiegebaseerde redeneerbeloningen, waardoor de redeneer- en zelfbeloningsvaardigheden van LLMs gezamenlijk worden geoptimaliseerd. De geoptimaliseerde zelfbeloningsscores kunnen zowel tijdens de training als tijdens de testfase worden gebruikt om de modelprestaties te verbeteren. Opmerkelijk is dat ons algoritme deze scores afleidt uit de voorspelde volgende-token waarschijnlijkheidsverdeling van de laatste token direct na generatie, wat slechts de minimale extra kosten van één extra token-inferentie met zich meebrengt. Experimenten tonen aan dat onze methode niet alleen de redeneerprestaties van het model verbetert, maar het ook uitrust met een opmerkelijk zelfbeloningsvermogen, waardoor de schaalbaarheid tijdens inferentie wordt bevorderd.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a core paradigm for enhancing the reasoning capabilities of Large Language Models (LLMs). To address the lack of verification signals at test time, prior studies incorporate the training of model's self-verification capability into the standard RLVR process, thereby unifying reasoning and verification capabilities within a single LLM. However, previous practice requires the LLM to sequentially generate solutions and self-verifications using two separate prompt templates, which significantly reduces efficiency. In this work, we theoretically reveal that the closed-form solution to the RL objective of self-verification can be reduced to a remarkably simple form: the true reasoning reward of a solution is equal to its last-token self-rewarding score, which is computed as the difference between the policy model's next-token log-probability assigned to any pre-specified token at the solution's last token and a pre-calculated constant, scaled by the KL coefficient. Based on this insight, we propose LaSeR (Reinforcement Learning with Last-Token Self-Rewarding), an algorithm that simply augments the original RLVR loss with a MSE loss that aligns the last-token self-rewarding scores with verifier-based reasoning rewards, jointly optimizing the reasoning and self-rewarding capabilities of LLMs. The optimized self-rewarding scores can be utilized in both training and testing to enhance model performance. Notably, our algorithm derives these scores from the predicted next-token probability distribution of the last token immediately after generation, incurring only the minimal extra cost of one additional token inference. Experiments show that our method not only improves the model's reasoning performance but also equips it with remarkable self-rewarding capability, thereby boosting its inference-time scaling performance.