Modelo de Raciocínio de Recompensa

Resumo

Modelos de recompensa desempenham um papel crucial na orientação de grandes modelos de linguagem para gerar saídas que estejam alinhadas com as expectativas humanas. No entanto, um desafio em aberto permanece na utilização eficaz do poder de computação durante o teste para melhorar o desempenho dos modelos de recompensa. Neste trabalho, introduzimos os Modelos de Raciocínio de Recompensa (RRMs, na sigla em inglês), que são projetados especificamente para executar um processo de raciocínio deliberado antes de gerar recompensas finais. Por meio do raciocínio em cadeia de pensamento, os RRMs aproveitam poder de computação adicional durante o teste para consultas complexas onde as recompensas apropriadas não são imediatamente aparentes. Para desenvolver os RRMs, implementamos uma estrutura de aprendizado por reforço que promove capacidades de raciocínio de recompensa auto-evoluídas, sem exigir traços explícitos de raciocínio como dados de treinamento. Resultados experimentais demonstram que os RRMs alcançam desempenho superior em benchmarks de modelagem de recompensa em diversos domínios. Notavelmente, mostramos que os RRMs podem explorar adaptativamente o poder de computação durante o teste para melhorar ainda mais a precisão das recompensas. Os modelos pré-treinados de raciocínio de recompensa estão disponíveis em https://huggingface.co/Reward-Reasoning.

English

Reward models play a critical role in guiding large language models toward outputs that align with human expectations. However, an open challenge remains in effectively utilizing test-time compute to enhance reward model performance. In this work, we introduce Reward Reasoning Models (RRMs), which are specifically designed to execute a deliberate reasoning process before generating final rewards. Through chain-of-thought reasoning, RRMs leverage additional test-time compute for complex queries where appropriate rewards are not immediately apparent. To develop RRMs, we implement a reinforcement learning framework that fosters self-evolved reward reasoning capabilities without requiring explicit reasoning traces as training data. Experimental results demonstrate that RRMs achieve superior performance on reward modeling benchmarks across diverse domains. Notably, we show that RRMs can adaptively exploit test-time compute to further improve reward accuracy. The pretrained reward reasoning models are available at https://huggingface.co/Reward-Reasoning.