PRL: Procesbeloningsleren verbetert het redeneervermogen van LLM's en verruimt de redeneergrens
PRL: Process Reward Learning Improves LLMs' Reasoning Ability and Broadens the Reasoning Boundary
January 15, 2026
Auteurs: Jiarui Yao, Ruida Wang, Tong Zhang
cs.AI
Samenvatting
Het verbeteren van de redeneervermogens van Large Language Models (LLM's) is recentelijk een voortdurend onderwerp van onderzoek geweest. De meeste relevante werken zijn echter gebaseerd op uitkomstbeloningen op trajectniveau, waarbij fijnmazige supervisie tijdens het redeneerproces ontbreekt. Andere bestaande trainingsframeworks die proberen proces-signalen te combineren om LLM's te optimaliseren, zijn ook sterk afhankelijk van omslachtige extra stappen zoals MCTS, het trainen van een apart beloningsmodel, enz., wat ten koste gaat van de trainings-efficiëntie. Bovendien ontbreekt er een rigoureuze theoretische onderbouwing voor de intuïtie achter het ontwerp van de proces-signalen, waardoor het optimalisatiemechanisme ondoorzichtig blijft. In dit artikel stellen we Process Reward Learning (PRL) voor, dat het entropie-geregulariseerde reinforcement learning-doel ontleedt in tussenstappen, met rigoureuze proces-beloningen die dienovereenkomstig aan modellen kunnen worden toegekend. Uitgaande van een theoretische motivatie, leiden we de formulering van PRL af die in essentie equivalent is aan het doel van beloningsmaximalisatie plus een KL-divergentie-strafterm tussen het beleidsmodel en een referentiemodel. PRL kan echter de uitkomstbeloning omzetten in proces-supervisiesignalen, wat helpt om de exploratie tijdens RL-optimalisatie beter te sturen. Onze experimentele resultaten tonen aan dat PRL niet alleen de gemiddelde prestaties voor het redeneervermogen van LLM's (gemeten door average @ n) verbetert, maar ook de redeneergrens verbreedt door de pass @ n-metriek te verbeteren. Uitgebreide experimenten tonen aan dat de effectiviteit van PRL kan worden geverifieerd en gegeneraliseerd.
English
Improving the reasoning abilities of Large Language Models (LLMs) has been a continuous topic recently. But most relevant works are based on outcome rewards at the trajectory level, missing fine-grained supervision during the reasoning process. Other existing training frameworks that try to combine process signals together to optimize LLMs also rely heavily on tedious additional steps like MCTS, training a separate reward model, etc., doing harm to the training efficiency. Moreover, the intuition behind the process signals design lacks rigorous theoretical support, leaving the understanding of the optimization mechanism opaque. In this paper, we propose Process Reward Learning (PRL), which decomposes the entropy regularized reinforcement learning objective into intermediate steps, with rigorous process rewards that could be assigned to models accordingly. Starting from theoretical motivation, we derive the formulation of PRL that is essentially equivalent to the objective of reward maximization plus a KL-divergence penalty term between the policy model and a reference model. However, PRL could turn the outcome reward into process supervision signals, which helps better guide the exploration during RL optimization. From our experiment results, we demonstrate that PRL not only improves the average performance for LLMs' reasoning ability measured by average @ n, but also broadens the reasoning boundary by improving the pass @ n metric. Extensive experiments show the effectiveness of PRL could be verified and generalized.