Verstärkung von Prozessen durch implizite Belohnungen

Process Reinforcement through Implicit Rewards

February 3, 2025

Autoren: Ganqu Cui, Lifan Yuan, Zefan Wang, Hanbin Wang, Wendi Li, Bingxiang He, Yuchen Fan, Tianyu Yu, Qixin Xu, Weize Chen, Jiarui Yuan, Huayu Chen, Kaiyan Zhang, Xingtai Lv, Shuo Wang, Yuan Yao, Xu Han, Hao Peng, Yu Cheng, Zhiyuan Liu, Maosong Sun, Bowen Zhou, Ning Ding

cs.AI

Zusammenfassung

Dichte Prozessbelohnungen haben sich als eine effektivere Alternative zu den spärlichen Belohnungen auf Ergebnisebene beim Skalieren großer Sprachmodelle (LLMs) zur Inferenzzeit erwiesen, insbesondere bei Aufgaben, die komplexe mehrschrittige Schlussfolgerungen erfordern. Während dichte Belohnungen auch eine ansprechende Wahl für das Reinforcement Learning (RL) von LLMs darstellen, da ihre feinkörnigen Belohnungen das Potenzial haben, einige inhärente Probleme von Ergebnisbelohnungen zu bewältigen, wie z.B. Trainingseffizienz und Zuschreibung von Verdiensten, bleibt dieses Potenzial weitgehend ungenutzt. Dies ist hauptsächlich den Herausforderungen beim Online-Training von Prozessbelohnungsmodellen (PRMs) zuzuschreiben, bei dem das Sammeln hochwertiger Prozessetiketten prohibitiv teuer ist und sie besonders anfällig für Reward Hacking sind. Um diesen Herausforderungen zu begegnen, schlagen wir PRIME (Process Reinforcement through IMplicit rEwards) vor, das Online-PRM-Updates ermöglicht, indem nur Richtlinienrollouts und Ergebnisetiketten durch implizite Prozessbelohnungen verwendet werden. PRIME lässt sich gut mit verschiedenen Vorteilsfunktionen kombinieren und verzichtet auf die dedizierte Belohnungsmodell-Trainingsphase, die bestehende Ansätze erfordern, was die Entwicklungskosten erheblich reduziert. Wir zeigen die Wirksamkeit von PRIME in mathematischen und Programmieraufgaben. Ausgehend von Qwen2.5-Math-7B-Base erzielt PRIME eine durchschnittliche Verbesserung von 15,1 % über mehrere wichtige Schlussfolgerungs-Benchmarks im Vergleich zum SFT-Modell. Bemerkenswert ist, dass unser resultierendes Modell, Eurus-2-7B-PRIME, Qwen2.5-Math-7B-Instruct auf sieben Schlussfolgerungs-Benchmarks mit nur 10 % seiner Trainingsdaten übertrifft.

English

Dense process rewards have proven a more effective alternative to the sparse outcome-level rewards in the inference-time scaling of large language models (LLMs), particularly in tasks requiring complex multi-step reasoning. While dense rewards also offer an appealing choice for the reinforcement learning (RL) of LLMs since their fine-grained rewards have the potential to address some inherent issues of outcome rewards, such as training efficiency and credit assignment, this potential remains largely unrealized. This can be primarily attributed to the challenges of training process reward models (PRMs) online, where collecting high-quality process labels is prohibitively expensive, making them particularly vulnerable to reward hacking. To address these challenges, we propose PRIME (Process Reinforcement through IMplicit rEwards), which enables online PRM updates using only policy rollouts and outcome labels through implict process rewards. PRIME combines well with various advantage functions and forgoes the dedicated reward model training phrase that existing approaches require, substantially reducing the development overhead. We demonstrate PRIME's effectiveness on competitional math and coding. Starting from Qwen2.5-Math-7B-Base, PRIME achieves a 15.1% average improvement across several key reasoning benchmarks over the SFT model. Notably, our resulting model, Eurus-2-7B-PRIME, surpasses Qwen2.5-Math-7B-Instruct on seven reasoning benchmarks with 10% of its training data.