Модель рассуждений о вознаграждении

Reward Reasoning Model

May 20, 2025

Авторы: Jiaxin Guo, Zewen Chi, Li Dong, Qingxiu Dong, Xun Wu, Shaohan Huang, Furu Wei

cs.AI

Аннотация

Модели вознаграждения играют ключевую роль в направлении крупных языковых моделей к выводам, соответствующим ожиданиям человека. Однако остается открытым вопрос эффективного использования вычислительных ресурсов на этапе тестирования для повышения производительности моделей вознаграждения. В данной работе мы представляем Модели Рассуждений о Вознаграждении (RRMs), которые специально разработаны для выполнения осознанного процесса рассуждения перед генерацией итоговых вознаграждений. Используя цепочку рассуждений (chain-of-thought reasoning), RRMs задействуют дополнительные вычислительные ресурсы на этапе тестирования для сложных запросов, где подходящие вознаграждения не очевидны сразу. Для разработки RRMs мы реализуем фреймворк обучения с подкреплением, который способствует развитию способностей к самостоятельному рассуждению о вознаграждениях без необходимости явных трасс рассуждений в качестве обучающих данных. Экспериментальные результаты демонстрируют, что RRMs достигают превосходной производительности на бенчмарках моделирования вознаграждений в различных областях. Особенно важно отметить, что RRMs могут адаптивно использовать вычислительные ресурсы на этапе тестирования для дальнейшего повышения точности вознаграждений. Предобученные модели рассуждений о вознаграждениях доступны по адресу https://huggingface.co/Reward-Reasoning.

English

Reward models play a critical role in guiding large language models toward outputs that align with human expectations. However, an open challenge remains in effectively utilizing test-time compute to enhance reward model performance. In this work, we introduce Reward Reasoning Models (RRMs), which are specifically designed to execute a deliberate reasoning process before generating final rewards. Through chain-of-thought reasoning, RRMs leverage additional test-time compute for complex queries where appropriate rewards are not immediately apparent. To develop RRMs, we implement a reinforcement learning framework that fosters self-evolved reward reasoning capabilities without requiring explicit reasoning traces as training data. Experimental results demonstrate that RRMs achieve superior performance on reward modeling benchmarks across diverse domains. Notably, we show that RRMs can adaptively exploit test-time compute to further improve reward accuracy. The pretrained reward reasoning models are available at https://huggingface.co/Reward-Reasoning.