PRL : L'apprentissage par récompense de processus améliore la capacité de raisonnement des LLM et élargit les frontières du raisonnement

PRL: Process Reward Learning Improves LLMs' Reasoning Ability and Broadens the Reasoning Boundary

January 15, 2026

papers.authors: Jiarui Yao, Ruida Wang, Tong Zhang

cs.AI

papers.abstract

L'amélioration des capacités de raisonnement des grands modèles de langage (LLM) est un sujet récurrent ces derniers temps. Cependant, la plupart des travaux pertinents se basent sur des récompenses de résultat au niveau de la trajectoire, omettant une supervision fine pendant le processus de raisonnement. D'autres cadres d'entraînement existants qui tentent de combiner les signaux de processus pour optimiser les LLM reposent également lourdement sur des étapes supplémentaires fastidieuses comme MCTS, l'entraînement d'un modèle de récompense séparé, etc., ce qui nuit à l'efficacité de l'entraînement. De plus, l'intuition derrière la conception des signaux de processus manque de support théorique rigoureux, laissant la compréhension du mécanisme d'optimisation opaque. Dans cet article, nous proposons l'Apprentissage par Récompense de Processus (PRL), qui décompose l'objectif d'apprentissage par renforcement à régularisation d'entropie en étapes intermédiaires, avec des récompenses de processus rigoureuses qui peuvent être attribuées aux modèles en conséquence. Partant d'une motivation théorique, nous dérivons la formulation du PRL qui est essentiellement équivalente à l'objectif de maximisation de la récompense plus un terme de pénalité par divergence KL entre le modèle de politique et un modèle de référence. Cependant, le PRL peut transformer la récompense de résultat en signaux de supervision de processus, ce qui aide à mieux guider l'exploration durant l'optimisation par RL. Nos résultats expérimentaux démontrent que le PRL améliore non seulement les performances moyennes de la capacité de raisonnement des LLM mesurées par average @ n, mais élargit également la frontière du raisonnement en améliorant la métrique pass @ n. Des expériences approfondies montrent que l'efficacité du PRL peut être vérifiée et généralisée.

English

Improving the reasoning abilities of Large Language Models (LLMs) has been a continuous topic recently. But most relevant works are based on outcome rewards at the trajectory level, missing fine-grained supervision during the reasoning process. Other existing training frameworks that try to combine process signals together to optimize LLMs also rely heavily on tedious additional steps like MCTS, training a separate reward model, etc., doing harm to the training efficiency. Moreover, the intuition behind the process signals design lacks rigorous theoretical support, leaving the understanding of the optimization mechanism opaque. In this paper, we propose Process Reward Learning (PRL), which decomposes the entropy regularized reinforcement learning objective into intermediate steps, with rigorous process rewards that could be assigned to models accordingly. Starting from theoretical motivation, we derive the formulation of PRL that is essentially equivalent to the objective of reward maximization plus a KL-divergence penalty term between the policy model and a reference model. However, PRL could turn the outcome reward into process supervision signals, which helps better guide the exploration during RL optimization. From our experiment results, we demonstrate that PRL not only improves the average performance for LLMs' reasoning ability measured by average @ n, but also broadens the reasoning boundary by improving the pass @ n metric. Extensive experiments show the effectiveness of PRL could be verified and generalized.