RM-R1: 推論としての報酬モデリング

RM-R1: Reward Modeling as Reasoning

May 5, 2025

著者: Xiusi Chen, Gaotang Li, Ziqi Wang, Bowen Jin, Cheng Qian, Yu Wang, Hongru Wang, Yu Zhang, Denghui Zhang, Tong Zhang, Hanghang Tong, Heng Ji

cs.AI

要旨

報酬モデリングは、特に人間のフィードバックからの強化学習（RLHF）を通じて、大規模言語モデル（LLMs）を人間の選好に適合させるために不可欠である。正確な報酬信号を提供するためには、報酬モデル（RM）が深い思考を促し、解釈可能な推論を行った上でスコアや判断を割り当てるべきである。しかし、既存のRMは不透明なスカラー値を生成するか、直接的に好ましい回答の予測を生成するため、自然言語による批判を統合することが難しく、解釈可能性に欠けている。最近の長い連鎖思考（CoT）の進展に触発され、報酬モデリングに推論能力を統合することでRMの解釈可能性と性能が大幅に向上するという仮説を立て、検証した。本研究では、報酬モデリングを推論タスクとして定式化する新しいクラスの生成的報酬モデル——推論報酬モデル（ReasRMs）——を導入する。推論指向のトレーニングパイプラインを提案し、ReasRMsのファミリーであるRM-R1をトレーニングした。トレーニングは2つの主要な段階から構成される：（1）高品質な推論連鎖の蒸留、（2）検証可能な報酬を用いた強化学習。RM-R1は、自己生成した推論トレースやチャット固有のルーブリックを用いてLLMのロールアウトを改善し、候補回答をそれらに対して評価する。実験的に、我々のモデルは複数の包括的な報酬モデルベンチマークにおいて、生成的なRMとして最先端またはそれに近い性能を達成し、より大規模なオープンウェイトモデル（例：Llama3.1-405B）やプロプライエタリモデル（例：GPT-4o）を最大13.8%上回った。最終的な性能を超えて、成功したReasRMトレーニングの鍵となる要素を理解するために徹底的な実証分析を行った。今後の研究を促進するため、6つのReasRMモデルとコードおよびデータをhttps://github.com/RM-R1-UIUC/RM-R1で公開する。

English

Reward modeling is essential for aligning large language models (LLMs) with human preferences, especially through reinforcement learning from human feedback (RLHF). To provide accurate reward signals, a reward model (RM) should stimulate deep thinking and conduct interpretable reasoning before assigning a score or a judgment. However, existing RMs either produce opaque scalar scores or directly generate the prediction of a preferred answer, making them struggle to integrate natural language critiques, thus lacking interpretability. Inspired by recent advances of long chain-of-thought (CoT) on reasoning-intensive tasks, we hypothesize and validate that integrating reasoning capabilities into reward modeling significantly enhances RM's interpretability and performance. In this work, we introduce a new class of generative reward models -- Reasoning Reward Models (ReasRMs) -- which formulate reward modeling as a reasoning task. We propose a reasoning-oriented training pipeline and train a family of ReasRMs, RM-R1. The training consists of two key stages: (1) distillation of high-quality reasoning chains and (2) reinforcement learning with verifiable rewards. RM-R1 improves LLM rollouts by self-generating reasoning traces or chat-specific rubrics and evaluating candidate responses against them. Empirically, our models achieve state-of-the-art or near state-of-the-art performance of generative RMs across multiple comprehensive reward model benchmarks, outperforming much larger open-weight models (e.g., Llama3.1-405B) and proprietary ones (e.g., GPT-4o) by up to 13.8%. Beyond final performance, we perform thorough empirical analysis to understand the key ingredients of successful ReasRM training. To facilitate future research, we release six ReasRM models along with code and data at https://github.com/RM-R1-UIUC/RM-R1.