RM-R1: Belohnungsmodellierung als logisches Schließen

RM-R1: Reward Modeling as Reasoning

May 5, 2025

Autoren: Xiusi Chen, Gaotang Li, Ziqi Wang, Bowen Jin, Cheng Qian, Yu Wang, Hongru Wang, Yu Zhang, Denghui Zhang, Tong Zhang, Hanghang Tong, Heng Ji

cs.AI

Zusammenfassung

Die Modellierung von Belohnungen ist entscheidend, um große Sprachmodelle (LLMs) mit menschlichen Präferenzen in Einklang zu bringen, insbesondere durch Reinforcement Learning aus menschlichem Feedback (RLHF). Um präzise Belohnungssignale zu liefern, sollte ein Belohnungsmodell (RM) tiefes Denken anregen und interpretierbare Schlussfolgerungen ziehen, bevor es eine Bewertung oder ein Urteil vergibt. Bisherige RMs erzeugen jedoch entweder undurchsichtige skalare Werte oder generieren direkt die Vorhersage einer bevorzugten Antwort, was es ihnen erschwert, natürliche Sprachkritiken zu integrieren, und somit an Interpretierbarkeit mangelt. Inspiriert durch die jüngsten Fortschritte bei langen Gedankenketten (Chain-of-Thought, CoT) in aufschlussreichen Aufgaben, stellen wir die Hypothese auf und validieren, dass die Integration von Schlussfolgerungsfähigkeiten in die Belohnungsmodellierung die Interpretierbarkeit und Leistung von RMs erheblich verbessert. In dieser Arbeit führen wir eine neue Klasse generativer Belohnungsmodelle ein – Reasoning Reward Models (ReasRMs) –, die die Belohnungsmodellierung als eine Schlussfolgerungsaufgabe formulieren. Wir schlagen eine schlussfolgerungsorientierte Trainingspipeline vor und trainieren eine Familie von ReasRMs, RM-R1. Das Training besteht aus zwei Schlüsselphasen: (1) Destillation hochwertiger Gedankenketten und (2) Reinforcement Learning mit überprüfbaren Belohnungen. RM-R1 verbessert LLM-Rollouts, indem es selbstständig Gedankenspuren oder chatspezifische Bewertungskriterien generiert und Kandidatenantworten anhand dieser bewertet. Empirisch erreichen unsere Modelle state-of-the-art oder nahezu state-of-the-art Leistung generativer RMs über mehrere umfassende Belohnungsmodell-Benchmarks hinweg und übertreffen dabei deutlich größere Open-Weight-Modelle (z. B. Llama3.1-405B) und proprietäre Modelle (z. B. GPT-4o) um bis zu 13,8 %. Neben der Endleistung führen wir eine umfassende empirische Analyse durch, um die Schlüsselkomponenten eines erfolgreichen ReasRM-Trainings zu verstehen. Um zukünftige Forschung zu erleichtern, veröffentlichen wir sechs ReasRM-Modelle sowie Code und Daten unter https://github.com/RM-R1-UIUC/RM-R1.

English

Reward modeling is essential for aligning large language models (LLMs) with human preferences, especially through reinforcement learning from human feedback (RLHF). To provide accurate reward signals, a reward model (RM) should stimulate deep thinking and conduct interpretable reasoning before assigning a score or a judgment. However, existing RMs either produce opaque scalar scores or directly generate the prediction of a preferred answer, making them struggle to integrate natural language critiques, thus lacking interpretability. Inspired by recent advances of long chain-of-thought (CoT) on reasoning-intensive tasks, we hypothesize and validate that integrating reasoning capabilities into reward modeling significantly enhances RM's interpretability and performance. In this work, we introduce a new class of generative reward models -- Reasoning Reward Models (ReasRMs) -- which formulate reward modeling as a reasoning task. We propose a reasoning-oriented training pipeline and train a family of ReasRMs, RM-R1. The training consists of two key stages: (1) distillation of high-quality reasoning chains and (2) reinforcement learning with verifiable rewards. RM-R1 improves LLM rollouts by self-generating reasoning traces or chat-specific rubrics and evaluating candidate responses against them. Empirically, our models achieve state-of-the-art or near state-of-the-art performance of generative RMs across multiple comprehensive reward model benchmarks, outperforming much larger open-weight models (e.g., Llama3.1-405B) and proprietary ones (e.g., GPT-4o) by up to 13.8%. Beyond final performance, we perform thorough empirical analysis to understand the key ingredients of successful ReasRM training. To facilitate future research, we release six ReasRM models along with code and data at https://github.com/RM-R1-UIUC/RM-R1.