LaSeR: Aprendizado por Reforço com Autorrecompensa do Último Token

LaSeR: Reinforcement Learning with Last-Token Self-Rewarding

October 16, 2025

Autores: Wenkai Yang, Weijie Liu, Ruobing Xie, Yiju Guo, Lulu Wu, Saiyong Yang, Yankai Lin

cs.AI

Resumo

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) surgiu recentemente como um paradigma central para aprimorar as capacidades de raciocínio dos Modelos de Linguagem de Grande Escala (LLMs). Para abordar a falta de sinais de verificação durante o teste, estudos anteriores incorporam o treinamento da capacidade de autoverificação do modelo no processo padrão de RLVR, unificando assim as capacidades de raciocínio e verificação em um único LLM. No entanto, práticas anteriores exigiam que o LLM gerasse sequencialmente soluções e autoverificações usando dois modelos de prompt separados, o que reduz significativamente a eficiência. Neste trabalho, revelamos teoricamente que a solução de forma fechada para o objetivo de RL de autoverificação pode ser reduzida a uma forma notavelmente simples: a recompensa verdadeira de raciocínio de uma solução é igual à sua pontuação de autorecompensa no último token, que é calculada como a diferença entre a probabilidade logarítmica do próximo token atribuída pelo modelo de política a qualquer token pré-especificado no último token da solução e uma constante pré-calculada, escalada pelo coeficiente de KL. Com base nessa percepção, propomos o LaSeR (Aprendizado por Reforço com Autorecompensa no Último Token), um algoritmo que simplesmente aumenta a perda original de RLVR com uma perda MSE que alinha as pontuações de autorecompensa no último token com as recompensas de raciocínio baseadas em verificadores, otimizando conjuntamente as capacidades de raciocínio e autorecompensa dos LLMs. As pontuações de autorecompensa otimizadas podem ser utilizadas tanto no treinamento quanto no teste para melhorar o desempenho do modelo. Notavelmente, nosso algoritmo deriva essas pontuações da distribuição de probabilidade do próximo token prevista para o último token imediatamente após a geração, incorrendo apenas no custo extra mínimo de uma inferência adicional de token. Experimentos mostram que nosso método não apenas melhora o desempenho de raciocínio do modelo, mas também o equipa com uma capacidade notável de autorecompensa, impulsionando assim seu desempenho de escalonamento em tempo de inferência.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a core paradigm for enhancing the reasoning capabilities of Large Language Models (LLMs). To address the lack of verification signals at test time, prior studies incorporate the training of model's self-verification capability into the standard RLVR process, thereby unifying reasoning and verification capabilities within a single LLM. However, previous practice requires the LLM to sequentially generate solutions and self-verifications using two separate prompt templates, which significantly reduces efficiency. In this work, we theoretically reveal that the closed-form solution to the RL objective of self-verification can be reduced to a remarkably simple form: the true reasoning reward of a solution is equal to its last-token self-rewarding score, which is computed as the difference between the policy model's next-token log-probability assigned to any pre-specified token at the solution's last token and a pre-calculated constant, scaled by the KL coefficient. Based on this insight, we propose LaSeR (Reinforcement Learning with Last-Token Self-Rewarding), an algorithm that simply augments the original RLVR loss with a MSE loss that aligns the last-token self-rewarding scores with verifier-based reasoning rewards, jointly optimizing the reasoning and self-rewarding capabilities of LLMs. The optimized self-rewarding scores can be utilized in both training and testing to enhance model performance. Notably, our algorithm derives these scores from the predicted next-token probability distribution of the last token immediately after generation, incurring only the minimal extra cost of one additional token inference. Experiments show that our method not only improves the model's reasoning performance but also equips it with remarkable self-rewarding capability, thereby boosting its inference-time scaling performance.