PRL: Обучение процессуальным вознаграждениям повышает способность к рассуждению у больших языковых моделей и расширяет границы их логического вывода

PRL: Process Reward Learning Improves LLMs' Reasoning Ability and Broadens the Reasoning Boundary

January 15, 2026

Авторы: Jiarui Yao, Ruida Wang, Tong Zhang

cs.AI

Аннотация

Повышение способностей к логическому выводу у больших языковых моделей (LLM) остается актуальной темой исследований в последнее время. Однако большинство соответствующих работ основаны на вознаграждениях за результат на уровне траектории, упуская детальный контроль в процессе рассуждений. Другие существующие框架 обучения, пытающиеся объединить сигналы процесса для оптимизации LLM, также сильно зависят от трудоемких дополнительных шагов, таких как MCTS, обучение отдельной модели вознаграждения и т.д., что снижает эффективность обучения. Более того, интуиция, стоящая за дизайном сигналов процесса, не имеет строгого теоретического обоснования, оставляя понимание механизма оптимизации неясным. В данной статье мы предлагаем обучение с подкреплением на основе процесса (Process Reward Learning, PRL), которое декомпозирует регуляризованный энтропией objective обучения с подкреплением на промежуточные шаги со строго определенными пошаговыми вознаграждениями. Отталкиваясь от теоретической мотивации, мы выводим формулировку PRL, которая по сути эквивалентна максимизации вознаграждения плюс штрафной член KL-дивергенции между политикой и референсной моделью. При этом PRL позволяет преобразовать вознаграждение за результат в сигналы пошагового контроля, что способствует лучшему управлению исследованием в процессе RL-оптимизации. Результаты наших экспериментов демонстрируют, что PRL не только улучшает среднюю производительность LLM в логическом выводе (измеряемую по метрике average@n), но и расширяет границы рассуждений, улучшая показатель pass@n. Многочисленные эксперименты подтверждают эффективность и обобщаемость подхода PRL.

English

Improving the reasoning abilities of Large Language Models (LLMs) has been a continuous topic recently. But most relevant works are based on outcome rewards at the trajectory level, missing fine-grained supervision during the reasoning process. Other existing training frameworks that try to combine process signals together to optimize LLMs also rely heavily on tedious additional steps like MCTS, training a separate reward model, etc., doing harm to the training efficiency. Moreover, the intuition behind the process signals design lacks rigorous theoretical support, leaving the understanding of the optimization mechanism opaque. In this paper, we propose Process Reward Learning (PRL), which decomposes the entropy regularized reinforcement learning objective into intermediate steps, with rigorous process rewards that could be assigned to models accordingly. Starting from theoretical motivation, we derive the formulation of PRL that is essentially equivalent to the objective of reward maximization plus a KL-divergence penalty term between the policy model and a reference model. However, PRL could turn the outcome reward into process supervision signals, which helps better guide the exploration during RL optimization. From our experiment results, we demonstrate that PRL not only improves the average performance for LLMs' reasoning ability measured by average @ n, but also broadens the reasoning boundary by improving the pass @ n metric. Extensive experiments show the effectiveness of PRL could be verified and generalized.