Modèle de Raisonnement par Récompense

Reward Reasoning Model

May 20, 2025

Auteurs: Jiaxin Guo, Zewen Chi, Li Dong, Qingxiu Dong, Xun Wu, Shaohan Huang, Furu Wei

cs.AI

Résumé

Les modèles de récompense jouent un rôle crucial pour orienter les grands modèles de langage vers des sorties alignées avec les attentes humaines. Cependant, un défi persiste dans l'utilisation efficace des ressources de calcul au moment du test pour améliorer les performances des modèles de récompense. Dans ce travail, nous introduisons les Modèles de Raisonnement sur les Récompenses (RRMs), qui sont spécifiquement conçus pour exécuter un processus de raisonnement délibéré avant de générer les récompenses finales. Grâce au raisonnement en chaîne de pensée, les RRMs exploitent des ressources de calcul supplémentaires au moment du test pour les requêtes complexes où les récompenses appropriées ne sont pas immédiatement évidentes. Pour développer les RRMs, nous mettons en œuvre un cadre d'apprentissage par renforcement qui favorise l'évolution autonome des capacités de raisonnement sur les récompenses sans nécessiter de traces de raisonnement explicites comme données d'entraînement. Les résultats expérimentaux démontrent que les RRMs obtiennent des performances supérieures sur des benchmarks de modélisation des récompenses dans divers domaines. De manière notable, nous montrons que les RRMs peuvent exploiter de manière adaptative les ressources de calcul au moment du test pour améliorer encore la précision des récompenses. Les modèles de raisonnement sur les récompenses pré-entraînés sont disponibles à l'adresse suivante : https://huggingface.co/Reward-Reasoning.

English

Reward models play a critical role in guiding large language models toward outputs that align with human expectations. However, an open challenge remains in effectively utilizing test-time compute to enhance reward model performance. In this work, we introduce Reward Reasoning Models (RRMs), which are specifically designed to execute a deliberate reasoning process before generating final rewards. Through chain-of-thought reasoning, RRMs leverage additional test-time compute for complex queries where appropriate rewards are not immediately apparent. To develop RRMs, we implement a reinforcement learning framework that fosters self-evolved reward reasoning capabilities without requiring explicit reasoning traces as training data. Experimental results demonstrate that RRMs achieve superior performance on reward modeling benchmarks across diverse domains. Notably, we show that RRMs can adaptively exploit test-time compute to further improve reward accuracy. The pretrained reward reasoning models are available at https://huggingface.co/Reward-Reasoning.