LaSeR: Обучение с подкреплением с самонаграждением на основе последнего токена

LaSeR: Reinforcement Learning with Last-Token Self-Rewarding

October 16, 2025

Авторы: Wenkai Yang, Weijie Liu, Ruobing Xie, Yiju Guo, Lulu Wu, Saiyong Yang, Yankai Lin

cs.AI

Аннотация

Обучение с подкреплением с проверяемыми наградами (RLVR) недавно стало ключевой парадигмой для улучшения способностей к рассуждению больших языковых моделей (LLM). Чтобы решить проблему отсутствия сигналов проверки во время тестирования, предыдущие исследования включали обучение способности модели к самопроверке в стандартный процесс RLVR, тем самым объединяя способности к рассуждению и проверке в рамках одной LLM. Однако существующий подход требует, чтобы LLM последовательно генерировала решения и самопроверки с использованием двух отдельных шаблонов запросов, что значительно снижает эффективность. В данной работе мы теоретически показываем, что аналитическое решение задачи RL для самопроверки может быть сведено к удивительно простой форме: истинная награда за рассуждение решения равна его последнему токену самовознаграждения, который вычисляется как разница между логарифмической вероятностью следующего токена, присвоенной модели политики любому предопределенному токену на последнем токене решения, и предварительно вычисленной константой, масштабированной коэффициентом KL. На основе этого понимания мы предлагаем LaSeR (Обучение с подкреплением с самовознаграждением на последнем токене) — алгоритм, который просто дополняет исходную функцию потерь RLVR MSE-потерей, согласующей оценки самовознаграждения на последнем токене с наградами за рассуждение, основанными на проверке, совместно оптимизируя способности LLM к рассуждению и самовознаграждению. Оптимизированные оценки самовознаграждения могут использоваться как в обучении, так и в тестировании для повышения производительности модели. Примечательно, что наш алгоритм извлекает эти оценки из предсказанного распределения вероятностей следующего токена для последнего токена сразу после генерации, что требует лишь минимальных дополнительных затрат на один дополнительный вывод токена. Эксперименты показывают, что наш метод не только улучшает способность модели к рассуждению, но и наделяет её замечательной способностью к самовознаграждению, тем самым повышая её производительность при масштабировании во время вывода.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a core paradigm for enhancing the reasoning capabilities of Large Language Models (LLMs). To address the lack of verification signals at test time, prior studies incorporate the training of model's self-verification capability into the standard RLVR process, thereby unifying reasoning and verification capabilities within a single LLM. However, previous practice requires the LLM to sequentially generate solutions and self-verifications using two separate prompt templates, which significantly reduces efficiency. In this work, we theoretically reveal that the closed-form solution to the RL objective of self-verification can be reduced to a remarkably simple form: the true reasoning reward of a solution is equal to its last-token self-rewarding score, which is computed as the difference between the policy model's next-token log-probability assigned to any pre-specified token at the solution's last token and a pre-calculated constant, scaled by the KL coefficient. Based on this insight, we propose LaSeR (Reinforcement Learning with Last-Token Self-Rewarding), an algorithm that simply augments the original RLVR loss with a MSE loss that aligns the last-token self-rewarding scores with verifier-based reasoning rewards, jointly optimizing the reasoning and self-rewarding capabilities of LLMs. The optimized self-rewarding scores can be utilized in both training and testing to enhance model performance. Notably, our algorithm derives these scores from the predicted next-token probability distribution of the last token immediately after generation, incurring only the minimal extra cost of one additional token inference. Experiments show that our method not only improves the model's reasoning performance but also equips it with remarkable self-rewarding capability, thereby boosting its inference-time scaling performance.