GenPRM: Масштабирование вычислительных ресурсов на этапе тестирования моделей оценки процессов с помощью генеративного рассуждения

GenPRM: Scaling Test-Time Compute of Process Reward Models via Generative Reasoning

April 1, 2025

Авторы: Jian Zhao, Runze Liu, Kaiyan Zhang, Zhimu Zhou, Junqi Gao, Dong Li, Jiafei Lyu, Zhouyi Qian, Biqing Qi, Xiu Li, Bowen Zhou

cs.AI

Аннотация

Последние достижения в области больших языковых моделей (LLM) показали, что использование моделей вознаграждения процессов (PRM) в качестве верификаторов для повышения производительности LLM является перспективным подходом. Однако современные PRM сталкиваются с тремя ключевыми проблемами: (1) ограниченные возможности процессуального контроля и обобщения, (2) зависимость от предсказания скалярных значений без использования генеративных способностей LLM и (3) невозможность масштабирования вычислительных ресурсов PRM на этапе тестирования. В данной работе мы представляем GenPRM — генеративную модель вознаграждения процессов, которая выполняет явное рассуждение по цепочке мыслей (CoT) с проверкой кода перед вынесением суждения для каждого шага рассуждения. Для получения высококачественных меток процессуального контроля и данных с обоснованиями мы предлагаем метод оценки относительного прогресса (RPE) и фреймворк синтеза обоснований, включающий проверку кода. Экспериментальные результаты на ProcessBench и нескольких задачах математического рассуждения показывают, что GenPRM значительно превосходит предыдущие PRM, используя всего 23K обучающих данных из набора MATH. Благодаря масштабированию на этапе тестирования, GenPRM с 1,5 миллиардами параметров превосходит GPT-4o, а GenPRM с 7 миллиардами параметров обходит Qwen2.5-Math-PRM-72B на ProcessBench. Кроме того, GenPRM демонстрирует сильные способности в качестве критической модели для уточнения моделей политик. Эта работа устанавливает новую парадигму процессуального контроля, которая устраняет разрыв между PRM и критическими моделями в LLM. Наш код, модель и данные будут доступны по адресу https://ryanliu112.github.io/GenPRM.

English

Recent advancements in Large Language Models (LLMs) have shown that it is promising to utilize Process Reward Models (PRMs) as verifiers to enhance the performance of LLMs. However, current PRMs face three key challenges: (1) limited process supervision and generalization capabilities, (2) dependence on scalar value prediction without leveraging the generative abilities of LLMs, and (3) inability to scale the test-time compute of PRMs. In this work, we introduce GenPRM, a generative process reward model that performs explicit Chain-of-Thought (CoT) reasoning with code verification before providing judgment for each reasoning step. To obtain high-quality process supervision labels and rationale data, we propose Relative Progress Estimation (RPE) and a rationale synthesis framework that incorporates code verification. Experimental results on ProcessBench and several mathematical reasoning tasks show that GenPRM significantly outperforms prior PRMs with only 23K training data from MATH dataset. Through test-time scaling, a 1.5B GenPRM outperforms GPT-4o, and a 7B GenPRM surpasses Qwen2.5-Math-PRM-72B on ProcessBench. Additionally, GenPRM demonstrates strong abilities to serve as a critic model for policy model refinement. This work establishes a new paradigm for process supervision that bridges the gap between PRMs and critic models in LLMs. Our code, model, and data will be available in https://ryanliu112.github.io/GenPRM.