Modelo de Razonamiento sobre Recompensas

Reward Reasoning Model

May 20, 2025

Autores: Jiaxin Guo, Zewen Chi, Li Dong, Qingxiu Dong, Xun Wu, Shaohan Huang, Furu Wei

cs.AI

Resumen

Los modelos de recompensa desempeñan un papel crucial para guiar a los modelos de lenguaje grandes hacia resultados que se alinean con las expectativas humanas. Sin embargo, sigue existiendo un desafío abierto en la utilización efectiva del cómputo en tiempo de prueba para mejorar el rendimiento de los modelos de recompensa. En este trabajo, presentamos los Modelos de Razonamiento de Recompensa (RRMs, por sus siglas en inglés), que están específicamente diseñados para ejecutar un proceso de razonamiento deliberado antes de generar recompensas finales. A través del razonamiento en cadena de pensamiento, los RRMs aprovechan cómputo adicional en tiempo de prueba para consultas complejas donde las recompensas adecuadas no son inmediatamente evidentes. Para desarrollar los RRMs, implementamos un marco de aprendizaje por refuerzo que fomenta capacidades de razonamiento de recompensa autoevolucionadas sin requerir trazas de razonamiento explícitas como datos de entrenamiento. Los resultados experimentales demuestran que los RRMs logran un rendimiento superior en puntos de referencia de modelado de recompensas en diversos dominios. En particular, mostramos que los RRMs pueden explotar de manera adaptativa el cómputo en tiempo de prueba para mejorar aún más la precisión de las recompensas. Los modelos preentrenados de razonamiento de recompensa están disponibles en https://huggingface.co/Reward-Reasoning.

English

Reward models play a critical role in guiding large language models toward outputs that align with human expectations. However, an open challenge remains in effectively utilizing test-time compute to enhance reward model performance. In this work, we introduce Reward Reasoning Models (RRMs), which are specifically designed to execute a deliberate reasoning process before generating final rewards. Through chain-of-thought reasoning, RRMs leverage additional test-time compute for complex queries where appropriate rewards are not immediately apparent. To develop RRMs, we implement a reinforcement learning framework that fosters self-evolved reward reasoning capabilities without requiring explicit reasoning traces as training data. Experimental results demonstrate that RRMs achieve superior performance on reward modeling benchmarks across diverse domains. Notably, we show that RRMs can adaptively exploit test-time compute to further improve reward accuracy. The pretrained reward reasoning models are available at https://huggingface.co/Reward-Reasoning.