Belohnungsbegründungsmodell

Reward Reasoning Model

May 20, 2025

Autoren: Jiaxin Guo, Zewen Chi, Li Dong, Qingxiu Dong, Xun Wu, Shaohan Huang, Furu Wei

cs.AI

Zusammenfassung

Belohnungsmodelle spielen eine entscheidende Rolle dabei, große Sprachmodelle in Richtung von Ausgaben zu lenken, die den menschlichen Erwartungen entsprechen. Dennoch bleibt eine offene Herausforderung darin, die Rechenleistung zur Testzeit effektiv zu nutzen, um die Leistung von Belohnungsmodellen zu verbessern. In dieser Arbeit führen wir Reward Reasoning Models (RRMs) ein, die speziell dafür entwickelt sind, einen durchdachten Denkprozess auszuführen, bevor sie endgültige Belohnungen generieren. Durch Chain-of-Thought Reasoning nutzen RRMs zusätzliche Rechenleistung zur Testzeit für komplexe Anfragen, bei denen angemessene Belohnungen nicht unmittelbar ersichtlich sind. Um RRMs zu entwickeln, implementieren wir ein Reinforcement-Learning-Framework, das selbstentwickelte Fähigkeiten zur Belohnungslogik fördert, ohne explizite Denkspuren als Trainingsdaten zu benötigen. Experimentelle Ergebnisse zeigen, dass RRMs eine überlegene Leistung bei Belohnungsmodellierungs-Benchmarks in verschiedenen Domänen erzielen. Insbesondere zeigen wir, dass RRMs die Rechenleistung zur Testzeit adaptiv nutzen können, um die Belohnungsgenauigkeit weiter zu verbessern. Die vortrainierten Reward Reasoning Models sind unter https://huggingface.co/Reward-Reasoning verfügbar.

English

Reward models play a critical role in guiding large language models toward outputs that align with human expectations. However, an open challenge remains in effectively utilizing test-time compute to enhance reward model performance. In this work, we introduce Reward Reasoning Models (RRMs), which are specifically designed to execute a deliberate reasoning process before generating final rewards. Through chain-of-thought reasoning, RRMs leverage additional test-time compute for complex queries where appropriate rewards are not immediately apparent. To develop RRMs, we implement a reinforcement learning framework that fosters self-evolved reward reasoning capabilities without requiring explicit reasoning traces as training data. Experimental results demonstrate that RRMs achieve superior performance on reward modeling benchmarks across diverse domains. Notably, we show that RRMs can adaptively exploit test-time compute to further improve reward accuracy. The pretrained reward reasoning models are available at https://huggingface.co/Reward-Reasoning.