RM-R1: Modelado de Recompensas como Razonamiento

RM-R1: Reward Modeling as Reasoning

May 5, 2025

Autores: Xiusi Chen, Gaotang Li, Ziqi Wang, Bowen Jin, Cheng Qian, Yu Wang, Hongru Wang, Yu Zhang, Denghui Zhang, Tong Zhang, Hanghang Tong, Heng Ji

cs.AI

Resumen

El modelado de recompensas es esencial para alinear los grandes modelos de lenguaje (LLMs) con las preferencias humanas, especialmente a través del aprendizaje por refuerzo basado en retroalimentación humana (RLHF). Para proporcionar señales de recompensa precisas, un modelo de recompensas (RM) debería estimular el pensamiento profundo y realizar razonamientos interpretables antes de asignar una puntuación o un juicio. Sin embargo, los RMs existentes producen puntuaciones escalares opacas o generan directamente la predicción de una respuesta preferida, lo que dificulta la integración de críticas en lenguaje natural y, por tanto, carecen de interpretabilidad. Inspirados por los avances recientes en cadenas de pensamiento largas (CoT) para tareas intensivas en razonamiento, planteamos y validamos la hipótesis de que integrar capacidades de razonamiento en el modelado de recompensas mejora significativamente la interpretabilidad y el rendimiento de los RMs. En este trabajo, introducimos una nueva clase de modelos de recompensas generativos: los Modelos de Recompensas con Razonamiento (ReasRMs), que formulan el modelado de recompensas como una tarea de razonamiento. Proponemos un pipeline de entrenamiento orientado al razonamiento y entrenamos una familia de ReasRMs, RM-R1. El entrenamiento consta de dos etapas clave: (1) destilación de cadenas de razonamiento de alta calidad y (2) aprendizaje por refuerzo con recompensas verificables. RM-R1 mejora las iteraciones de los LLMs al generar automáticamente trazas de razonamiento o rúbricas específicas para chats y evaluar las respuestas candidatas en función de ellas. Empíricamente, nuestros modelos alcanzan un rendimiento de vanguardia o cercano al estado del arte en modelos generativos de recompensas en múltiples benchmarks integrales, superando a modelos de código abierto mucho más grandes (por ejemplo, Llama3.1-405B) y a modelos propietarios (por ejemplo, GPT-4o) hasta en un 13.8%. Más allá del rendimiento final, realizamos un análisis empírico exhaustivo para comprender los ingredientes clave del entrenamiento exitoso de los ReasRMs. Para facilitar investigaciones futuras, publicamos seis modelos ReasRM junto con el código y los datos en https://github.com/RM-R1-UIUC/RM-R1.

English

Reward modeling is essential for aligning large language models (LLMs) with human preferences, especially through reinforcement learning from human feedback (RLHF). To provide accurate reward signals, a reward model (RM) should stimulate deep thinking and conduct interpretable reasoning before assigning a score or a judgment. However, existing RMs either produce opaque scalar scores or directly generate the prediction of a preferred answer, making them struggle to integrate natural language critiques, thus lacking interpretability. Inspired by recent advances of long chain-of-thought (CoT) on reasoning-intensive tasks, we hypothesize and validate that integrating reasoning capabilities into reward modeling significantly enhances RM's interpretability and performance. In this work, we introduce a new class of generative reward models -- Reasoning Reward Models (ReasRMs) -- which formulate reward modeling as a reasoning task. We propose a reasoning-oriented training pipeline and train a family of ReasRMs, RM-R1. The training consists of two key stages: (1) distillation of high-quality reasoning chains and (2) reinforcement learning with verifiable rewards. RM-R1 improves LLM rollouts by self-generating reasoning traces or chat-specific rubrics and evaluating candidate responses against them. Empirically, our models achieve state-of-the-art or near state-of-the-art performance of generative RMs across multiple comprehensive reward model benchmarks, outperforming much larger open-weight models (e.g., Llama3.1-405B) and proprietary ones (e.g., GPT-4o) by up to 13.8%. Beyond final performance, we perform thorough empirical analysis to understand the key ingredients of successful ReasRM training. To facilitate future research, we release six ReasRM models along with code and data at https://github.com/RM-R1-UIUC/RM-R1.