Reforço de Processo por Meio de Recompensas Implícitas

Process Reinforcement through Implicit Rewards

February 3, 2025

Autores: Ganqu Cui, Lifan Yuan, Zefan Wang, Hanbin Wang, Wendi Li, Bingxiang He, Yuchen Fan, Tianyu Yu, Qixin Xu, Weize Chen, Jiarui Yuan, Huayu Chen, Kaiyan Zhang, Xingtai Lv, Shuo Wang, Yuan Yao, Xu Han, Hao Peng, Yu Cheng, Zhiyuan Liu, Maosong Sun, Bowen Zhou, Ning Ding

cs.AI

Resumo

Recompensas densas de processo têm se mostrado uma alternativa mais eficaz às recompensas esparsas de nível de resultado na escalabilidade de modelos de linguagem grandes (LLMs) durante a inferência, especialmente em tarefas que exigem raciocínio complexo de vários passos. Enquanto as recompensas densas também oferecem uma escolha atraente para o aprendizado por reforço (RL) de LLMs, uma vez que suas recompensas detalhadas têm o potencial de lidar com alguns problemas inerentes das recompensas de resultado, como eficiência de treinamento e atribuição de crédito, esse potencial permanece amplamente não realizado. Isso pode ser atribuído principalmente aos desafios de treinar modelos de recompensa de processo (PRMs) online, onde a coleta de rótulos de processo de alta qualidade é proibitivamente cara, tornando-os particularmente vulneráveis a manipulações de recompensa. Para enfrentar esses desafios, propomos o PRIME (Reforço de Processo por Meio de Recompensas Implícitas), que permite atualizações online de PRM usando apenas execuções de política e rótulos de resultado por meio de recompensas de processo implícitas. O PRIME combina bem com várias funções de vantagem e dispensa a fase de treinamento do modelo de recompensa dedicado que abordagens existentes exigem, reduzindo substancialmente o custo de desenvolvimento. Demonstramos a eficácia do PRIME em matemática e codificação competitivas. Partindo do Qwen2.5-Math-7B-Base, o PRIME alcança uma melhoria média de 15,1% em vários benchmarks de raciocínio-chave em relação ao modelo SFT. Notavelmente, nosso modelo resultante, Eurus-2-7B-PRIME, supera o Qwen2.5-Math-7B-Instruct em sete benchmarks de raciocínio com 10% dos dados de treinamento deste último.

English

Dense process rewards have proven a more effective alternative to the sparse outcome-level rewards in the inference-time scaling of large language models (LLMs), particularly in tasks requiring complex multi-step reasoning. While dense rewards also offer an appealing choice for the reinforcement learning (RL) of LLMs since their fine-grained rewards have the potential to address some inherent issues of outcome rewards, such as training efficiency and credit assignment, this potential remains largely unrealized. This can be primarily attributed to the challenges of training process reward models (PRMs) online, where collecting high-quality process labels is prohibitively expensive, making them particularly vulnerable to reward hacking. To address these challenges, we propose PRIME (Process Reinforcement through IMplicit rEwards), which enables online PRM updates using only policy rollouts and outcome labels through implict process rewards. PRIME combines well with various advantage functions and forgoes the dedicated reward model training phrase that existing approaches require, substantially reducing the development overhead. We demonstrate PRIME's effectiveness on competitional math and coding. Starting from Qwen2.5-Math-7B-Base, PRIME achieves a 15.1% average improvement across several key reasoning benchmarks over the SFT model. Notably, our resulting model, Eurus-2-7B-PRIME, surpasses Qwen2.5-Math-7B-Instruct on seven reasoning benchmarks with 10% of its training data.