Procesversterking door impliciete beloningen.

Process Reinforcement through Implicit Rewards

February 3, 2025

Auteurs: Ganqu Cui, Lifan Yuan, Zefan Wang, Hanbin Wang, Wendi Li, Bingxiang He, Yuchen Fan, Tianyu Yu, Qixin Xu, Weize Chen, Jiarui Yuan, Huayu Chen, Kaiyan Zhang, Xingtai Lv, Shuo Wang, Yuan Yao, Xu Han, Hao Peng, Yu Cheng, Zhiyuan Liu, Maosong Sun, Bowen Zhou, Ning Ding

cs.AI

Samenvatting

Dichte procesbeloningen hebben zich bewezen als een effectiever alternatief voor de spaarzame beloningen op uitkomstniveau bij het schalen van grote taalmodellen (LLM's) tijdens de inferentietijd, met name bij taken die complexe meerstapsredenering vereisen. Terwijl dichte beloningen ook een aantrekkelijke keuze bieden voor reinforcement learning (RL) van LLM's, aangezien hun fijnmazige beloningen het potentieel hebben om enkele inherente problemen van uitkomstbeloningen aan te pakken, zoals trainingsrendement en creditering, blijft dit potentieel grotendeels onbenut. Dit kan voornamelijk worden toegeschreven aan de uitdagingen van het online trainen van procesbeloningsmodellen (PRM's), waarbij het verzamelen van hoogwaardige proceslabels buitensporig duur is, waardoor ze bijzonder vatbaar zijn voor beloningsmanipulatie. Om deze uitdagingen aan te pakken, stellen we PRIME (Process Reinforcement through IMplicit rEwards) voor, waarmee online PRM-updates mogelijk zijn met behulp van alleen beleidsuitvoeringen en uitkomstlabels via impliciete procesbeloningen. PRIME combineert goed met verschillende voordeelfuncties en laat de toegewijde training van beloningsmodellen achterwege die bestaande benaderingen vereisen, waardoor de ontwikkelingskosten aanzienlijk worden verlaagd. We tonen de effectiviteit van PRIME aan bij wiskundige en programmeerwedstrijden. Vertrekkend van Qwen2.5-Math-7B-Base behaalt PRIME een gemiddelde verbetering van 15,1% over verschillende belangrijke redeneerbenchmarks ten opzichte van het SFT-model. Opmerkelijk is dat ons resulterende model, Eurus-2-7B-PRIME, Qwen2.5-Math-7B-Instruct overtreft op zeven redeneerbenchmarks met slechts 10% van zijn trainingsgegevens.

English

Dense process rewards have proven a more effective alternative to the sparse outcome-level rewards in the inference-time scaling of large language models (LLMs), particularly in tasks requiring complex multi-step reasoning. While dense rewards also offer an appealing choice for the reinforcement learning (RL) of LLMs since their fine-grained rewards have the potential to address some inherent issues of outcome rewards, such as training efficiency and credit assignment, this potential remains largely unrealized. This can be primarily attributed to the challenges of training process reward models (PRMs) online, where collecting high-quality process labels is prohibitively expensive, making them particularly vulnerable to reward hacking. To address these challenges, we propose PRIME (Process Reinforcement through IMplicit rEwards), which enables online PRM updates using only policy rollouts and outcome labels through implict process rewards. PRIME combines well with various advantage functions and forgoes the dedicated reward model training phrase that existing approaches require, substantially reducing the development overhead. We demonstrate PRIME's effectiveness on competitional math and coding. Starting from Qwen2.5-Math-7B-Base, PRIME achieves a 15.1% average improvement across several key reasoning benchmarks over the SFT model. Notably, our resulting model, Eurus-2-7B-PRIME, surpasses Qwen2.5-Math-7B-Instruct on seven reasoning benchmarks with 10% of its training data.