RM-R1: Beloningsmodellering als Redeneren

Samenvatting

Beloningsmodellering is essentieel voor het afstemmen van grote taalmodellen (LLMs) op menselijke voorkeuren, met name via reinforcement learning met menselijke feedback (RLHF). Om nauwkeurige beloningssignalen te bieden, zou een beloningsmodel (RM) diep nadenken moeten stimuleren en interpreteerbare redeneringen moeten uitvoeren voordat het een score of oordeel toekent. Bestaande RM's produceren echter ofwel ondoorzichtige scalaire scores of genereren direct de voorspelling van een voorkeursantwoord, waardoor ze moeite hebben om natuurlijktaalkritieken te integreren en daardoor interpreteerbaarheid missen. Geïnspireerd door recente vooruitgang in lange ketens van gedachten (CoT) bij taken die intensief redeneren vereisen, stellen we de hypothese op en valideren we dat het integreren van redeneervaardigheden in beloningsmodellering de interpreteerbaarheid en prestaties van RM's aanzienlijk verbetert. In dit werk introduceren we een nieuwe klasse van generatieve beloningsmodellen — Redeneer Beloningsmodellen (ReasRMs) — die beloningsmodellering formuleren als een redeneertaak. We stellen een redeneergerichte trainingspijplijn voor en trainen een familie van ReasRMs, RM-R1. De training bestaat uit twee belangrijke fasen: (1) destillatie van hoogwaardige redeneerketens en (2) reinforcement learning met verifieerbare beloningen. RM-R1 verbetert LLM-rollouts door zelf redeneersporen of chatspecifieke rubrieken te genereren en kandidaatantwoorden daartegen te evalueren. Empirisch bereiken onze modellen state-of-the-art of bijna state-of-the-art prestaties van generatieve RM's op meerdere uitgebreide beloningsmodelbenchmarks, waarbij ze veel grotere open-weight modellen (bijv. Llama3.1-405B) en propriëtaire modellen (bijv. GPT-4o) met tot wel 13,8% overtreffen. Naast de uiteindelijke prestaties voeren we een grondige empirische analyse uit om de belangrijkste ingrediënten van succesvolle ReasRM-training te begrijpen. Om toekomstig onderzoek te faciliteren, geven we zes ReasRM-modellen vrij, samen met code en data op https://github.com/RM-R1-UIUC/RM-R1.

English

Reward modeling is essential for aligning large language models (LLMs) with human preferences, especially through reinforcement learning from human feedback (RLHF). To provide accurate reward signals, a reward model (RM) should stimulate deep thinking and conduct interpretable reasoning before assigning a score or a judgment. However, existing RMs either produce opaque scalar scores or directly generate the prediction of a preferred answer, making them struggle to integrate natural language critiques, thus lacking interpretability. Inspired by recent advances of long chain-of-thought (CoT) on reasoning-intensive tasks, we hypothesize and validate that integrating reasoning capabilities into reward modeling significantly enhances RM's interpretability and performance. In this work, we introduce a new class of generative reward models -- Reasoning Reward Models (ReasRMs) -- which formulate reward modeling as a reasoning task. We propose a reasoning-oriented training pipeline and train a family of ReasRMs, RM-R1. The training consists of two key stages: (1) distillation of high-quality reasoning chains and (2) reinforcement learning with verifiable rewards. RM-R1 improves LLM rollouts by self-generating reasoning traces or chat-specific rubrics and evaluating candidate responses against them. Empirically, our models achieve state-of-the-art or near state-of-the-art performance of generative RMs across multiple comprehensive reward model benchmarks, outperforming much larger open-weight models (e.g., Llama3.1-405B) and proprietary ones (e.g., GPT-4o) by up to 13.8%. Beyond final performance, we perform thorough empirical analysis to understand the key ingredients of successful ReasRM training. To facilitate future research, we release six ReasRM models along with code and data at https://github.com/RM-R1-UIUC/RM-R1.

RM-R1: Beloningsmodellering als Redeneren

RM-R1: Reward Modeling as Reasoning

Samenvatting

Support