RM-R1: Моделирование вознаграждения как процесс рассуждения

RM-R1: Reward Modeling as Reasoning

May 5, 2025

Авторы: Xiusi Chen, Gaotang Li, Ziqi Wang, Bowen Jin, Cheng Qian, Yu Wang, Hongru Wang, Yu Zhang, Denghui Zhang, Tong Zhang, Hanghang Tong, Heng Ji

cs.AI

Аннотация

Моделирование вознаграждений играет ключевую роль в согласовании больших языковых моделей (LLM) с человеческими предпочтениями, особенно в рамках обучения с подкреплением на основе обратной связи от человека (RLHF). Для обеспечения точных сигналов вознаграждения модель вознаграждения (RM) должна стимулировать глубокое мышление и проводить интерпретируемые рассуждения перед присвоением оценки или суждения. Однако существующие модели RM либо выдают непрозрачные скалярные оценки, либо напрямую генерируют предсказание предпочтительного ответа, что затрудняет интеграцию критики на естественном языке и снижает интерпретируемость. Вдохновленные недавними достижениями в области длинных цепочек рассуждений (CoT) для задач, требующих интенсивного анализа, мы выдвигаем и подтверждаем гипотезу о том, что интеграция возможностей рассуждения в моделирование вознаграждения значительно повышает интерпретируемость и производительность RM. В данной работе мы представляем новый класс генеративных моделей вознаграждения — Reasoning Reward Models (ReasRMs), которые формулируют моделирование вознаграждения как задачу рассуждения. Мы предлагаем ориентированный на рассуждения процесс обучения и обучаем семейство моделей ReasRMs, RM-R1. Обучение состоит из двух ключевых этапов: (1) дистилляции высококачественных цепочек рассуждений и (2) обучения с подкреплением с верифицируемыми вознаграждениями. RM-R1 улучшает результаты LLM, самостоятельно генерируя трассы рассуждений или специфические для чата критерии и оценивая кандидатные ответы на их основе. Эмпирически наши модели демонстрируют результаты, близкие к современным или превосходящие их, среди генеративных моделей вознаграждения на множестве комплексных бенчмарков, превосходя значительно более крупные модели с открытыми весами (например, Llama3.1-405B) и проприетарные модели (например, GPT-4o) на величину до 13,8%. Помимо итоговой производительности, мы проводим тщательный эмпирический анализ, чтобы понять ключевые компоненты успешного обучения ReasRM. Для содействия будущим исследованиям мы публикуем шесть моделей ReasRM вместе с кодом и данными на https://github.com/RM-R1-UIUC/RM-R1.

English

Reward modeling is essential for aligning large language models (LLMs) with human preferences, especially through reinforcement learning from human feedback (RLHF). To provide accurate reward signals, a reward model (RM) should stimulate deep thinking and conduct interpretable reasoning before assigning a score or a judgment. However, existing RMs either produce opaque scalar scores or directly generate the prediction of a preferred answer, making them struggle to integrate natural language critiques, thus lacking interpretability. Inspired by recent advances of long chain-of-thought (CoT) on reasoning-intensive tasks, we hypothesize and validate that integrating reasoning capabilities into reward modeling significantly enhances RM's interpretability and performance. In this work, we introduce a new class of generative reward models -- Reasoning Reward Models (ReasRMs) -- which formulate reward modeling as a reasoning task. We propose a reasoning-oriented training pipeline and train a family of ReasRMs, RM-R1. The training consists of two key stages: (1) distillation of high-quality reasoning chains and (2) reinforcement learning with verifiable rewards. RM-R1 improves LLM rollouts by self-generating reasoning traces or chat-specific rubrics and evaluating candidate responses against them. Empirically, our models achieve state-of-the-art or near state-of-the-art performance of generative RMs across multiple comprehensive reward model benchmarks, outperforming much larger open-weight models (e.g., Llama3.1-405B) and proprietary ones (e.g., GPT-4o) by up to 13.8%. Beyond final performance, we perform thorough empirical analysis to understand the key ingredients of successful ReasRM training. To facilitate future research, we release six ReasRM models along with code and data at https://github.com/RM-R1-UIUC/RM-R1.