PRL: El Aprendizaje por Recompensa de Procesos Mejora la Capacidad de Razonamiento de los LLM y Amplía el Límite del Razonamiento
PRL: Process Reward Learning Improves LLMs' Reasoning Ability and Broadens the Reasoning Boundary
January 15, 2026
Autores: Jiarui Yao, Ruida Wang, Tong Zhang
cs.AI
Resumen
Mejorar las capacidades de razonamiento de los Modelos de Lenguaje a Gran Escala (LLM) ha sido un tema continuo de investigación recientemente. Sin embargo, la mayoría de los trabajos relevantes se basan en recompensas de resultado a nivel de trayectoria, omitiendo una supervisión de grano fino durante el proceso de razonamiento. Otros marcos de entrenamiento existentes que intentan combinar señales de proceso para optimizar los LLM también dependen en gran medida de pasos adicionales tediosos, como MCTS, el entrenamiento de un modelo de recompensa separado, etc., lo que perjudica la eficiencia del entrenamiento. Además, la intuición detrás del diseño de las señales de proceso carece de un soporte teórico riguroso, dejando la comprensión del mecanismo de optimización opaca. En este artículo, proponemos el Aprendizaje por Recompensa de Proceso (PRL), que descompone el objetivo de aprendizaje por refuerzo regularizado por entropía en pasos intermedios, con recompensas de proceso rigurosas que pueden asignarse a los modelos en consecuencia. Partiendo de una motivación teórica, derivamos la formulación de PRL, que es esencialmente equivalente al objetivo de maximización de recompensa más un término de penalización por divergencia KL entre el modelo de política y un modelo de referencia. Sin embargo, PRL puede convertir la recompensa de resultado en señales de supervisión de proceso, lo que ayuda a guiar mejor la exploración durante la optimización por RL. A partir de nuestros resultados experimentales, demostramos que PRL no solo mejora el rendimiento promedio de la capacidad de razonamiento de los LLM medido por average @ n, sino que también amplía el límite de razonamiento al mejorar la métrica pass @ n. Experimentos exhaustivos muestran que la efectividad de PRL puede ser verificada y generalizada.
English
Improving the reasoning abilities of Large Language Models (LLMs) has been a continuous topic recently. But most relevant works are based on outcome rewards at the trajectory level, missing fine-grained supervision during the reasoning process. Other existing training frameworks that try to combine process signals together to optimize LLMs also rely heavily on tedious additional steps like MCTS, training a separate reward model, etc., doing harm to the training efficiency. Moreover, the intuition behind the process signals design lacks rigorous theoretical support, leaving the understanding of the optimization mechanism opaque. In this paper, we propose Process Reward Learning (PRL), which decomposes the entropy regularized reinforcement learning objective into intermediate steps, with rigorous process rewards that could be assigned to models accordingly. Starting from theoretical motivation, we derive the formulation of PRL that is essentially equivalent to the objective of reward maximization plus a KL-divergence penalty term between the policy model and a reference model. However, PRL could turn the outcome reward into process supervision signals, which helps better guide the exploration during RL optimization. From our experiment results, we demonstrate that PRL not only improves the average performance for LLMs' reasoning ability measured by average @ n, but also broadens the reasoning boundary by improving the pass @ n metric. Extensive experiments show the effectiveness of PRL could be verified and generalized.