SPARK: Пошаговые процессно-ориентированные вознаграждения для обучения с подкреплением без использования эталонов

SPARK: Stepwise Process-Aware Rewards for Reference-Free Reinforcement Learning

December 2, 2025

Авторы: Salman Rahman, Sruthi Gorantla, Arpit Gupta, Swastik Roy, Nanyun Peng, Yang Liu

cs.AI

Аннотация

Модели пошагового вознаграждения (PRM), обеспечивающие плотную обратную связь на уровне шагов, показали перспективность для обучения с подкреплением, однако их широкое внедрение ограничивается необходимостью дорогостоящих пошаговых разметок или эталонных данных. Мы предлагаем SPARK: трехэтапную структуру, на первом этапе которой генеративная модель создает разнообразные решения, а модель-верификатор оценивает их с помощью параллельного (самосогласованность) и последовательного (метакритика) масштабирования. На втором этапе мы используем результаты верификации в качестве синтетических данных для обучения для тонкой настройки генеративных моделей пошагового вознаграждения, которые впоследствии служат сигналами вознаграждения при обучении. Мы показываем, что агрегация множественных независимых верификаций на уровне шагов позволяет создать данные для обучения моделей пошагового вознаграждения, превосходящие по качеству обучение с эталонными результатами, достигая 67.5 F1 на ProcessBench (бенчмарке для выявления ошибочных шагов в математических рассуждениях) против 66.4 для обучения с эталонами и 61.9 для GPT-4o. На заключительном этапе мы применяем нашу генеративную PRM с верификацией цепочки рассуждений (PRM-CoT) в качестве модели вознаграждения в экспериментах по обучению с подкреплением на задачах математического рассуждения и вводим ограничения на формат вывода для предотвращения взлома вознаграждения. Используя Qwen2.5-Math-7B, мы достигаем средней точности 47.4% на шести бенчмарках математических рассуждений, превосходя метод RLVR на эталонных данных (43.9%). Наша работа позволяет проводить обучение с подкреплением без эталонов, превосходящее методы с их использованием, открывая новые возможности для областей, где отсутствуют проверяемые ответы или доступные эталонные данные.

English

Process reward models (PRMs) that provide dense, step-level feedback have shown promise for reinforcement learning, yet their adoption remains limited by the need for expensive step-level annotations or ground truth references. We propose SPARK: a three-stage framework where in the first stage a generator model produces diverse solutions and a verifier model evaluates them using parallel scaling (self-consistency) and sequential scaling (meta-critique). In the second stage, we use these verification outputs as synthetic training data to fine-tune generative process reward models, which subsequently serve as reward signals during training. We show that aggregating multiple independent verifications at the step level produces training data for process reward models that surpass ground-truth outcome supervision, achieving 67.5 F1 on ProcessBench (a benchmark for identifying erroneous steps in mathematical reasoning) compared to 66.4 for reference-guided training and 61.9 for GPT-4o. In the final stage, we apply our generative PRM with chain-of-thought verification (PRM-CoT) as the reward model in RL experiments on mathematical reasoning, and introduce format constraints to prevent reward hacking. Using Qwen2.5-Math-7B, we achieve 47.4% average accuracy across six mathematical reasoning benchmarks, outperforming ground-truth-based RLVR (43.9%). Our work enables reference-free RL training that exceeds ground-truth methods, opening new possibilities for domains lacking verifiable answers or accessible ground truth.