PRL: L'Apprendimento per Ricompensa di Processo Migliora la Capacità di Ragionamento dei LLM ed Estende i Confini del Ragionamento
PRL: Process Reward Learning Improves LLMs' Reasoning Ability and Broadens the Reasoning Boundary
January 15, 2026
Autori: Jiarui Yao, Ruida Wang, Tong Zhang
cs.AI
Abstract
Il miglioramento delle capacità di ragionamento dei Large Language Model (LLM) è stato un tema di costante interesse recentemente. Tuttavia, la maggior parte dei lavori pertinenti si basa su ricompense di risultato a livello di traiettoria, tralasciando una supervisione granulare durante il processo di ragionamento. Altri framework di addestramento esistenti che tentano di combinare i segnali di processo per ottimizzare gli LLM dipendono fortemente da passaggi aggiuntivi tediosi come il MCTS, l'addestramento di un modello di ricompensa separato, ecc., danneggiando l'efficienza dell'addestramento. Inoltre, l'intuizione alla base della progettazione dei segnali di processo manca di un supporto teorico rigoroso, lasciando opaca la comprensione del meccanismo di ottimizzazione. In questo articolo, proponiamo il Process Reward Learning (PRL), che scompone l'obiettivo di reinforcement learning con regolarizzazione dell'entropia in passaggi intermedi, con ricompense di processo rigorose che possono essere assegnate di conseguenza ai modelli. Partendo dalla motivazione teorica, deriviamo la formulazione del PRL che è essenzialmente equivalente all'obiettivo di massimizzazione della ricompensa più un termine di penalità della divergenza KL tra il modello della policy e un modello di riferimento. Tuttavia, il PRL può trasformare la ricompensa di risultato in segnali di supervisione del processo, aiutando a guidare meglio l'esplorazione durante l'ottimizzazione RL. Dai nostri risultati sperimentali, dimostriamo che il PRL non solo migliora le prestazioni medie della capacità di ragionamento degli LLM misurata dalla metrica average @ n, ma amplia anche il confine del ragionamento migliorando la metrica pass @ n. Esperimenti estensivi mostrano che l'efficacia del PRL può essere verificata e generalizzata.
English
Improving the reasoning abilities of Large Language Models (LLMs) has been a continuous topic recently. But most relevant works are based on outcome rewards at the trajectory level, missing fine-grained supervision during the reasoning process. Other existing training frameworks that try to combine process signals together to optimize LLMs also rely heavily on tedious additional steps like MCTS, training a separate reward model, etc., doing harm to the training efficiency. Moreover, the intuition behind the process signals design lacks rigorous theoretical support, leaving the understanding of the optimization mechanism opaque. In this paper, we propose Process Reward Learning (PRL), which decomposes the entropy regularized reinforcement learning objective into intermediate steps, with rigorous process rewards that could be assigned to models accordingly. Starting from theoretical motivation, we derive the formulation of PRL that is essentially equivalent to the objective of reward maximization plus a KL-divergence penalty term between the policy model and a reference model. However, PRL could turn the outcome reward into process supervision signals, which helps better guide the exploration during RL optimization. From our experiment results, we demonstrate that PRL not only improves the average performance for LLMs' reasoning ability measured by average @ n, but also broadens the reasoning boundary by improving the pass @ n metric. Extensive experiments show the effectiveness of PRL could be verified and generalized.