Renforcement du processus par le biais de récompenses implicites

Process Reinforcement through Implicit Rewards

February 3, 2025

Auteurs: Ganqu Cui, Lifan Yuan, Zefan Wang, Hanbin Wang, Wendi Li, Bingxiang He, Yuchen Fan, Tianyu Yu, Qixin Xu, Weize Chen, Jiarui Yuan, Huayu Chen, Kaiyan Zhang, Xingtai Lv, Shuo Wang, Yuan Yao, Xu Han, Hao Peng, Yu Cheng, Zhiyuan Liu, Maosong Sun, Bowen Zhou, Ning Ding

cs.AI

Résumé

Les récompenses de processus denses se sont avérées être une alternative plus efficace aux récompenses de niveau de résultat clairsemées dans la mise à l'échelle des modèles de langage volumineux (MLV), en particulier dans les tâches nécessitant un raisonnement complexe en plusieurs étapes. Alors que les récompenses denses offrent également un choix attrayant pour l'apprentissage par renforcement (AR) des MLV car leurs récompenses fines ont le potentiel de résoudre certains problèmes inhérents des récompenses de résultat, tels que l'efficacité de l'entraînement et l'attribution du crédit, ce potentiel reste largement sous-exploité. Cela peut être principalement attribué aux défis de l'entraînement des modèles de récompense de processus (MRP) en ligne, où la collecte de libellés de processus de haute qualité est prohibitivement coûteuse, les rendant particulièrement vulnérables aux manipulations de récompenses. Pour relever ces défis, nous proposons PRIME (Process Reinforcement through IMplicit rEwards), qui permet des mises à jour en ligne des MRP en utilisant uniquement des exécutions de politiques et des libellés de résultats à travers des récompenses de processus implicites. PRIME se combine bien avec diverses fonctions d'avantage et évite la phase d'entraînement du modèle de récompense dédié que les approches existantes requièrent, réduisant considérablement les coûts de développement. Nous démontrons l'efficacité de PRIME en mathématiques et en codage compétitifs. En partant de Qwen2.5-Math-7B-Base, PRIME obtient une amélioration moyenne de 15,1 % sur plusieurs points de repère de raisonnement clés par rapport au modèle SFT. Notamment, notre modèle résultant, Eurus-2-7B-PRIME, dépasse Qwen2.5-Math-7B-Instruct sur sept points de repère de raisonnement avec seulement 10 % de ses données d'entraînement.

English

Dense process rewards have proven a more effective alternative to the sparse outcome-level rewards in the inference-time scaling of large language models (LLMs), particularly in tasks requiring complex multi-step reasoning. While dense rewards also offer an appealing choice for the reinforcement learning (RL) of LLMs since their fine-grained rewards have the potential to address some inherent issues of outcome rewards, such as training efficiency and credit assignment, this potential remains largely unrealized. This can be primarily attributed to the challenges of training process reward models (PRMs) online, where collecting high-quality process labels is prohibitively expensive, making them particularly vulnerable to reward hacking. To address these challenges, we propose PRIME (Process Reinforcement through IMplicit rEwards), which enables online PRM updates using only policy rollouts and outcome labels through implict process rewards. PRIME combines well with various advantage functions and forgoes the dedicated reward model training phrase that existing approaches require, substantially reducing the development overhead. We demonstrate PRIME's effectiveness on competitional math and coding. Starting from Qwen2.5-Math-7B-Base, PRIME achieves a 15.1% average improvement across several key reasoning benchmarks over the SFT model. Notably, our resulting model, Eurus-2-7B-PRIME, surpasses Qwen2.5-Math-7B-Instruct on seven reasoning benchmarks with 10% of its training data.