RM-R1 : Modélisation des récompenses comme raisonnement

RM-R1: Reward Modeling as Reasoning

May 5, 2025

Auteurs: Xiusi Chen, Gaotang Li, Ziqi Wang, Bowen Jin, Cheng Qian, Yu Wang, Hongru Wang, Yu Zhang, Denghui Zhang, Tong Zhang, Hanghang Tong, Heng Ji

cs.AI

Résumé

La modélisation des récompenses est essentielle pour aligner les grands modèles de langage (LLMs) avec les préférences humaines, en particulier à travers l'apprentissage par renforcement à partir de retours humains (RLHF). Pour fournir des signaux de récompense précis, un modèle de récompense (RM) devrait stimuler une réflexion approfondie et mener un raisonnement interprétable avant d'attribuer un score ou un jugement. Cependant, les RM existants produisent soit des scores scalaires opaques, soit génèrent directement la prédiction d'une réponse préférée, ce qui les empêche d'intégrer des critiques en langage naturel et limite ainsi leur interprétabilité. Inspirés par les récents progrès des longues chaînes de raisonnement (CoT) sur des tâches exigeantes en raisonnement, nous émettons et validons l'hypothèse que l'intégration de capacités de raisonnement dans la modélisation des récompenses améliore significativement l'interprétabilité et les performances des RM. Dans ce travail, nous introduisons une nouvelle classe de modèles de récompense génératifs — les Reasoning Reward Models (ReasRMs) — qui formulent la modélisation des récompenses comme une tâche de raisonnement. Nous proposons un pipeline d'entraînement orienté vers le raisonnement et entraînons une famille de ReasRMs, RM-R1. L'entraînement se compose de deux étapes clés : (1) la distillation de chaînes de raisonnement de haute qualité et (2) l'apprentissage par renforcement avec des récompenses vérifiables. RM-R1 améliore les déploiements de LLM en générant automatiquement des traces de raisonnement ou des grilles d'évaluation spécifiques aux conversations, puis en évaluant les réponses candidates par rapport à celles-ci. Empiriquement, nos modèles atteignent des performances de pointe ou quasi de pointe parmi les RM génératifs sur plusieurs benchmarks complets de modèles de récompense, surpassant des modèles open-weight beaucoup plus grands (par exemple, Llama3.1-405B) et des modèles propriétaires (par exemple, GPT-4o) jusqu'à 13,8 %. Au-delà des performances finales, nous effectuons une analyse empirique approfondie pour comprendre les ingrédients clés d'un entraînement réussi des ReasRMs. Pour faciliter les recherches futures, nous publions six modèles ReasRM ainsi que le code et les données sur https://github.com/RM-R1-UIUC/RM-R1.

English

Reward modeling is essential for aligning large language models (LLMs) with human preferences, especially through reinforcement learning from human feedback (RLHF). To provide accurate reward signals, a reward model (RM) should stimulate deep thinking and conduct interpretable reasoning before assigning a score or a judgment. However, existing RMs either produce opaque scalar scores or directly generate the prediction of a preferred answer, making them struggle to integrate natural language critiques, thus lacking interpretability. Inspired by recent advances of long chain-of-thought (CoT) on reasoning-intensive tasks, we hypothesize and validate that integrating reasoning capabilities into reward modeling significantly enhances RM's interpretability and performance. In this work, we introduce a new class of generative reward models -- Reasoning Reward Models (ReasRMs) -- which formulate reward modeling as a reasoning task. We propose a reasoning-oriented training pipeline and train a family of ReasRMs, RM-R1. The training consists of two key stages: (1) distillation of high-quality reasoning chains and (2) reinforcement learning with verifiable rewards. RM-R1 improves LLM rollouts by self-generating reasoning traces or chat-specific rubrics and evaluating candidate responses against them. Empirically, our models achieve state-of-the-art or near state-of-the-art performance of generative RMs across multiple comprehensive reward model benchmarks, outperforming much larger open-weight models (e.g., Llama3.1-405B) and proprietary ones (e.g., GPT-4o) by up to 13.8%. Beyond final performance, we perform thorough empirical analysis to understand the key ingredients of successful ReasRM training. To facilitate future research, we release six ReasRM models along with code and data at https://github.com/RM-R1-UIUC/RM-R1.