PRL: Prozessbelohnungslernen verbessert die Denkfähigkeit von LLMs und erweitert die Denkgrenzen
PRL: Process Reward Learning Improves LLMs' Reasoning Ability and Broadens the Reasoning Boundary
January 15, 2026
papers.authors: Jiarui Yao, Ruida Wang, Tong Zhang
cs.AI
papers.abstract
Die Verbesserung der reasoning-Fähigkeiten von Large Language Models (LLMs) ist in letzter Zeit ein kontinuierlich diskutiertes Thema. Die meisten relevanten Arbeiten basieren jedoch auf Ergebnisebelohnungen auf Trajektorienebene und vernachlässigen dabei eine feingranulare Überwachung während des reasoning-Prozesses. Andere bestehende Trainingsframeworks, die versuchen, Prozesssignale zur Optimierung von LLMs zu kombinieren, sind stark auf aufwändige zusätzliche Schritte wie MCTS oder das Training separater Belohnungsmodelle angewiesen, was die Trainingseffizienz beeinträchtigt. Darüber hinaus fehlt der Intuition hinter dem Design der Prozesssignale eine strenge theoretische Fundierung, was das Verständnis des Optimierungsmechanismus undurchsichtig lässt. In diesem Artikel schlagen wir Process Reward Learning (PRL) vor, das das entropie-regularisierte Reinforcement-Learning-Ziel in Zwischenschritte zerlegt und dabei strenge Prozessbelohnungen bereitstellt, die dem Modell entsprechend zugewiesen werden können. Ausgehend von der theoretischen Motivation leiten wir die Formulierung von PRL ab, die im Wesentlichen dem Ziel der Belohnungsmaximierung plus einem KL-Divergenz-Strafterm zwischen dem Policy-Modell und einem Referenzmodell entspricht. PRL kann jedoch die Ergebnisebelohnung in Prozessüberwachungssignale umwandeln, was die Exploration während der RL-Optimierung besser steuert. Unsere experimentellen Ergebnisse zeigen, dass PRL nicht nur die durchschnittliche reasoning-Leistung von LLMs, gemessen an average @ n, verbessert, sondern auch die reasoning-Grenzen erweitert, indem die pass @ n-Metrik verbessert wird. Umfangreiche Experimente belegen, dass die Wirksamkeit von PRL verifiziert und verallgemeinert werden kann.
English
Improving the reasoning abilities of Large Language Models (LLMs) has been a continuous topic recently. But most relevant works are based on outcome rewards at the trajectory level, missing fine-grained supervision during the reasoning process. Other existing training frameworks that try to combine process signals together to optimize LLMs also rely heavily on tedious additional steps like MCTS, training a separate reward model, etc., doing harm to the training efficiency. Moreover, the intuition behind the process signals design lacks rigorous theoretical support, leaving the understanding of the optimization mechanism opaque. In this paper, we propose Process Reward Learning (PRL), which decomposes the entropy regularized reinforcement learning objective into intermediate steps, with rigorous process rewards that could be assigned to models accordingly. Starting from theoretical motivation, we derive the formulation of PRL that is essentially equivalent to the objective of reward maximization plus a KL-divergence penalty term between the policy model and a reference model. However, PRL could turn the outcome reward into process supervision signals, which helps better guide the exploration during RL optimization. From our experiment results, we demonstrate that PRL not only improves the average performance for LLMs' reasoning ability measured by average @ n, but also broadens the reasoning boundary by improving the pass @ n metric. Extensive experiments show the effectiveness of PRL could be verified and generalized.