PRL: Aprendizagem por Recompensa de Processo Melhora a Capacidade de Raciocínio de LLMs e Amplia a Fronteira do Raciocínio
PRL: Process Reward Learning Improves LLMs' Reasoning Ability and Broadens the Reasoning Boundary
January 15, 2026
Autores: Jiarui Yao, Ruida Wang, Tong Zhang
cs.AI
Resumo
A melhoria das capacidades de raciocínio dos Grandes Modelos de Linguagem (LLMs) tem sido um tópico contínuo recentemente. No entanto, a maioria dos trabalhos relevantes baseia-se em recompensas de resultado ao nível da trajetória, carecendo de supervisão refinada durante o processo de raciocínio. Outras estruturas de treinamento existentes que tentam combinar sinais de processo para otimizar os LLMs também dependem fortemente de etapas adicionais tediosas, como MCTS, treinamento de um modelo de recompensa separado, etc., prejudicando a eficiência do treinamento. Além disso, a intuição por trás do design dos sinais de processo carece de suporte teórico rigoroso, deixando a compreensão do mecanismo de otimização obscura. Neste artigo, propomos o Process Reward Learning (PRL), que decompõe o objetivo de aprendizagem por reforço com regularização de entropia em etapas intermediárias, com recompensas de processo rigorosas que podem ser atribuídas aos modelos de acordo. Partindo da motivação teórica, derivamos a formulação do PRL, que é essencialmente equivalente ao objetivo de maximização de recompensa mais um termo de penalidade de divergência KL entre o modelo de política e um modelo de referência. No entanto, o PRL pode transformar a recompensa de resultado em sinais de supervisão de processo, o que ajuda a orientar melhor a exploração durante a otimização por RL. A partir dos nossos resultados experimentais, demonstramos que o PRL não só melhora o desempenho médio da capacidade de raciocínio dos LLMs, medido pela média @ n, mas também amplia o limite do raciocínio ao melhorar a métrica de aprovação @ n. Extensos experimentos mostram que a eficácia do PRL pode ser verificada e generalizada.
English
Improving the reasoning abilities of Large Language Models (LLMs) has been a continuous topic recently. But most relevant works are based on outcome rewards at the trajectory level, missing fine-grained supervision during the reasoning process. Other existing training frameworks that try to combine process signals together to optimize LLMs also rely heavily on tedious additional steps like MCTS, training a separate reward model, etc., doing harm to the training efficiency. Moreover, the intuition behind the process signals design lacks rigorous theoretical support, leaving the understanding of the optimization mechanism opaque. In this paper, we propose Process Reward Learning (PRL), which decomposes the entropy regularized reinforcement learning objective into intermediate steps, with rigorous process rewards that could be assigned to models accordingly. Starting from theoretical motivation, we derive the formulation of PRL that is essentially equivalent to the objective of reward maximization plus a KL-divergence penalty term between the policy model and a reference model. However, PRL could turn the outcome reward into process supervision signals, which helps better guide the exploration during RL optimization. From our experiment results, we demonstrate that PRL not only improves the average performance for LLMs' reasoning ability measured by average @ n, but also broadens the reasoning boundary by improving the pass @ n metric. Extensive experiments show the effectiveness of PRL could be verified and generalized.