LaSeR: Apprendimento per Rinforzo con Autoricompensa sull'Ultimo Token

LaSeR: Reinforcement Learning with Last-Token Self-Rewarding

October 16, 2025

Autori: Wenkai Yang, Weijie Liu, Ruobing Xie, Yiju Guo, Lulu Wu, Saiyong Yang, Yankai Lin

cs.AI

Abstract

Il Reinforcement Learning con Ricompense Verificabili (RLVR) è emerso recentemente come un paradigma fondamentale per potenziare le capacità di ragionamento dei Modelli Linguistici di Grande Scala (LLM). Per affrontare la mancanza di segnali di verifica durante il test, studi precedenti hanno integrato l'addestramento della capacità di auto-verifica del modello nel processo standard di RLVR, unificando così le capacità di ragionamento e verifica all'interno di un singolo LLM. Tuttavia, la pratica precedente richiedeva che l'LLM generasse sequenzialmente soluzioni e auto-verifiche utilizzando due modelli di prompt separati, riducendo significativamente l'efficienza. In questo lavoro, riveliamo teoricamente che la soluzione in forma chiusa dell'obiettivo di RL per l'auto-verifica può essere ridotta a una forma sorprendentemente semplice: la ricompensa di ragionamento vera di una soluzione è uguale al suo punteggio di auto-ricompensa dell'ultimo token, calcolato come la differenza tra la probabilità logaritmica del token successivo assegnata dal modello di politica a qualsiasi token pre-specificato all'ultimo token della soluzione e una costante pre-calcolata, scalata per il coefficiente KL. Basandoci su questa intuizione, proponiamo LaSeR (Reinforcement Learning con Auto-Ricompensa dell'Ultimo Token), un algoritmo che semplicemente amplifica la perdita originale di RLVR con una perdita MSE che allinea i punteggi di auto-ricompensa dell'ultimo token con le ricompense di ragionamento basate su verificatori, ottimizzando congiuntamente le capacità di ragionamento e auto-ricompensa degli LLM. I punteggi di auto-ricompensa ottimizzati possono essere utilizzati sia durante l'addestramento che durante il test per migliorare le prestazioni del modello. In particolare, il nostro algoritmo deriva questi punteggi dalla distribuzione di probabilità del token successivo prevista per l'ultimo token immediatamente dopo la generazione, comportando solo il costo aggiuntivo minimo di un'inferenza di un token aggiuntivo. Gli esperimenti dimostrano che il nostro metodo non solo migliora le prestazioni di ragionamento del modello, ma lo equipaggia anche con una notevole capacità di auto-ricompensa, potenziando così le sue prestazioni di scalabilità durante l'inferenza.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a core paradigm for enhancing the reasoning capabilities of Large Language Models (LLMs). To address the lack of verification signals at test time, prior studies incorporate the training of model's self-verification capability into the standard RLVR process, thereby unifying reasoning and verification capabilities within a single LLM. However, previous practice requires the LLM to sequentially generate solutions and self-verifications using two separate prompt templates, which significantly reduces efficiency. In this work, we theoretically reveal that the closed-form solution to the RL objective of self-verification can be reduced to a remarkably simple form: the true reasoning reward of a solution is equal to its last-token self-rewarding score, which is computed as the difference between the policy model's next-token log-probability assigned to any pre-specified token at the solution's last token and a pre-calculated constant, scaled by the KL coefficient. Based on this insight, we propose LaSeR (Reinforcement Learning with Last-Token Self-Rewarding), an algorithm that simply augments the original RLVR loss with a MSE loss that aligns the last-token self-rewarding scores with verifier-based reasoning rewards, jointly optimizing the reasoning and self-rewarding capabilities of LLMs. The optimized self-rewarding scores can be utilized in both training and testing to enhance model performance. Notably, our algorithm derives these scores from the predicted next-token probability distribution of the last token immediately after generation, incurring only the minimal extra cost of one additional token inference. Experiments show that our method not only improves the model's reasoning performance but also equips it with remarkable self-rewarding capability, thereby boosting its inference-time scaling performance.