Rafforzamento del processo tramite ricompense implicite

Process Reinforcement through Implicit Rewards

February 3, 2025

Autori: Ganqu Cui, Lifan Yuan, Zefan Wang, Hanbin Wang, Wendi Li, Bingxiang He, Yuchen Fan, Tianyu Yu, Qixin Xu, Weize Chen, Jiarui Yuan, Huayu Chen, Kaiyan Zhang, Xingtai Lv, Shuo Wang, Yuan Yao, Xu Han, Hao Peng, Yu Cheng, Zhiyuan Liu, Maosong Sun, Bowen Zhou, Ning Ding

cs.AI

Abstract

I premi densi del processo hanno dimostrato di essere un'alternativa più efficace ai premi a livello di risultato sparsi nella scalabilità dei modelli linguistici di grandi dimensioni (LLM) durante l'inferenza, in particolare in compiti che richiedono un ragionamento complesso a più passaggi. Mentre i premi densi offrono anche una scelta interessante per il reinforcement learning (RL) dei LLM poiché i loro premi dettagliati hanno il potenziale per affrontare alcuni problemi intrinseci dei premi di risultato, come l'efficienza della formazione e l'assegnazione del merito, questo potenziale rimane in gran parte inutilizzato. Ciò può essere attribuito principalmente alle sfide del training dei modelli di premi del processo (PRM) online, dove raccogliere etichette di processo di alta qualità è proibitivamente costoso, rendendoli particolarmente vulnerabili all'hacking del premio. Per affrontare queste sfide, proponiamo PRIME (Process Reinforcement through IMplicit rEwards), che consente aggiornamenti online dei PRM utilizzando solo rollout di politiche ed etichette di risultato attraverso premi impliciti del processo. PRIME si combina bene con varie funzioni di vantaggio e evita la fase di training dedicata del modello di premio che richiedono gli approcci esistenti, riducendo notevolmente l'overhead dello sviluppo. Dimostriamo l'efficacia di PRIME in matematica e codifica competitiva. Partendo da Qwen2.5-Math-7B-Base, PRIME ottiene un miglioramento medio del 15,1% su diversi benchmark di ragionamento chiave rispetto al modello SFT. In particolare, il nostro modello risultante, Eurus-2-7B-PRIME, supera Qwen2.5-Math-7B-Instruct su sette benchmark di ragionamento con il 10% dei dati di formazione.

English

Dense process rewards have proven a more effective alternative to the sparse outcome-level rewards in the inference-time scaling of large language models (LLMs), particularly in tasks requiring complex multi-step reasoning. While dense rewards also offer an appealing choice for the reinforcement learning (RL) of LLMs since their fine-grained rewards have the potential to address some inherent issues of outcome rewards, such as training efficiency and credit assignment, this potential remains largely unrealized. This can be primarily attributed to the challenges of training process reward models (PRMs) online, where collecting high-quality process labels is prohibitively expensive, making them particularly vulnerable to reward hacking. To address these challenges, we propose PRIME (Process Reinforcement through IMplicit rEwards), which enables online PRM updates using only policy rollouts and outcome labels through implict process rewards. PRIME combines well with various advantage functions and forgoes the dedicated reward model training phrase that existing approaches require, substantially reducing the development overhead. We demonstrate PRIME's effectiveness on competitional math and coding. Starting from Qwen2.5-Math-7B-Base, PRIME achieves a 15.1% average improvement across several key reasoning benchmarks over the SFT model. Notably, our resulting model, Eurus-2-7B-PRIME, surpasses Qwen2.5-Math-7B-Instruct on seven reasoning benchmarks with 10% of its training data.