RM-R1: Modellazione delle Ricompense come Ragionamento

RM-R1: Reward Modeling as Reasoning

May 5, 2025

Autori: Xiusi Chen, Gaotang Li, Ziqi Wang, Bowen Jin, Cheng Qian, Yu Wang, Hongru Wang, Yu Zhang, Denghui Zhang, Tong Zhang, Hanghang Tong, Heng Ji

cs.AI

Abstract

La modellazione delle ricompense è essenziale per allineare i grandi modelli linguistici (LLM) con le preferenze umane, in particolare attraverso l'apprendimento per rinforzo basato sul feedback umano (RLHF). Per fornire segnali di ricompensa accurati, un modello di ricompensa (RM) dovrebbe stimolare un pensiero profondo e condurre un ragionamento interpretabile prima di assegnare un punteggio o un giudizio. Tuttavia, gli RM esistenti producono o punteggi scalari opachi o generano direttamente la previsione di una risposta preferita, rendendo difficile l'integrazione di critiche in linguaggio naturale e quindi mancando di interpretabilità. Ispirati dai recenti progressi delle lunghe catene di pensiero (CoT) su compiti intensivi di ragionamento, ipotizziamo e validiamo che l'integrazione di capacità di ragionamento nella modellazione delle ricompense migliora significativamente l'interpretabilità e le prestazioni degli RM. In questo lavoro, introduciamo una nuova classe di modelli di ricompensa generativi -- Modelli di Ricompensa con Ragionamento (ReasRMs) -- che formulano la modellazione delle ricompense come un compito di ragionamento. Proponiamo una pipeline di formazione orientata al ragionamento e addestriamo una famiglia di ReasRMs, RM-R1. L'addestramento consiste in due fasi chiave: (1) distillazione di catene di ragionamento di alta qualità e (2) apprendimento per rinforzo con ricompense verificabili. RM-R1 migliora le iterazioni degli LLM generando autonomamente tracce di ragionamento o rubriche specifiche per il chat e valutando le risposte candidate rispetto a esse. Empiricamente, i nostri modelli raggiungono prestazioni all'avanguardia o quasi all'avanguardia per gli RM generativi su molteplici benchmark completi di modelli di ricompensa, superando modelli open-weight molto più grandi (ad esempio, Llama3.1-405B) e modelli proprietari (ad esempio, GPT-4o) fino al 13,8%. Oltre alle prestazioni finali, eseguiamo un'analisi empirica approfondita per comprendere gli ingredienti chiave del successo nell'addestramento dei ReasRM. Per facilitare la ricerca futura, rilasciamo sei modelli ReasRM insieme a codice e dati su https://github.com/RM-R1-UIUC/RM-R1.

English

Reward modeling is essential for aligning large language models (LLMs) with human preferences, especially through reinforcement learning from human feedback (RLHF). To provide accurate reward signals, a reward model (RM) should stimulate deep thinking and conduct interpretable reasoning before assigning a score or a judgment. However, existing RMs either produce opaque scalar scores or directly generate the prediction of a preferred answer, making them struggle to integrate natural language critiques, thus lacking interpretability. Inspired by recent advances of long chain-of-thought (CoT) on reasoning-intensive tasks, we hypothesize and validate that integrating reasoning capabilities into reward modeling significantly enhances RM's interpretability and performance. In this work, we introduce a new class of generative reward models -- Reasoning Reward Models (ReasRMs) -- which formulate reward modeling as a reasoning task. We propose a reasoning-oriented training pipeline and train a family of ReasRMs, RM-R1. The training consists of two key stages: (1) distillation of high-quality reasoning chains and (2) reinforcement learning with verifiable rewards. RM-R1 improves LLM rollouts by self-generating reasoning traces or chat-specific rubrics and evaluating candidate responses against them. Empirically, our models achieve state-of-the-art or near state-of-the-art performance of generative RMs across multiple comprehensive reward model benchmarks, outperforming much larger open-weight models (e.g., Llama3.1-405B) and proprietary ones (e.g., GPT-4o) by up to 13.8%. Beyond final performance, we perform thorough empirical analysis to understand the key ingredients of successful ReasRM training. To facilitate future research, we release six ReasRM models along with code and data at https://github.com/RM-R1-UIUC/RM-R1.