Proceso de Reforzamiento a través de Recompensas Implícitas

Process Reinforcement through Implicit Rewards

February 3, 2025

Autores: Ganqu Cui, Lifan Yuan, Zefan Wang, Hanbin Wang, Wendi Li, Bingxiang He, Yuchen Fan, Tianyu Yu, Qixin Xu, Weize Chen, Jiarui Yuan, Huayu Chen, Kaiyan Zhang, Xingtai Lv, Shuo Wang, Yuan Yao, Xu Han, Hao Peng, Yu Cheng, Zhiyuan Liu, Maosong Sun, Bowen Zhou, Ning Ding

cs.AI

Resumen

Las recompensas densas del proceso han demostrado ser una alternativa más efectiva a las recompensas escasas a nivel de resultados en la escalabilidad de modelos de lenguaje grandes (LLMs) durante la inferencia, especialmente en tareas que requieren un razonamiento complejo de múltiples pasos. Si bien las recompensas densas también ofrecen una opción atractiva para el aprendizaje por refuerzo (RL) de LLMs, ya que sus recompensas detalladas tienen el potencial de abordar algunos problemas inherentes de las recompensas de resultados, como la eficiencia de entrenamiento y la asignación de créditos, este potencial sigue siendo en gran medida no realizado. Esto se debe principalmente a los desafíos de entrenar modelos de recompensa de proceso (PRMs) en línea, donde la recopilación de etiquetas de proceso de alta calidad es prohibitivamente costosa, lo que los hace particularmente vulnerables a manipulaciones de recompensas. Para abordar estos desafíos, proponemos PRIME (Reforzamiento de Proceso a través de Recompensas Implícitas), que permite actualizaciones en línea de PRM utilizando solo ejecuciones de políticas y etiquetas de resultados a través de recompensas de proceso implícitas. PRIME se combina bien con varias funciones de ventaja y prescinde de la fase de entrenamiento de modelos de recompensa dedicados que requieren enfoques existentes, reduciendo sustancialmente la carga de desarrollo. Demostramos la efectividad de PRIME en matemáticas y codificación competitivas. Comenzando desde Qwen2.5-Math-7B-Base, PRIME logra una mejora promedio del 15.1% en varios puntos de referencia clave de razonamiento en comparación con el modelo SFT. Notablemente, nuestro modelo resultante, Eurus-2-7B-PRIME, supera a Qwen2.5-Math-7B-Instruct en siete puntos de referencia de razonamiento con el 10% de sus datos de entrenamiento.

English

Dense process rewards have proven a more effective alternative to the sparse outcome-level rewards in the inference-time scaling of large language models (LLMs), particularly in tasks requiring complex multi-step reasoning. While dense rewards also offer an appealing choice for the reinforcement learning (RL) of LLMs since their fine-grained rewards have the potential to address some inherent issues of outcome rewards, such as training efficiency and credit assignment, this potential remains largely unrealized. This can be primarily attributed to the challenges of training process reward models (PRMs) online, where collecting high-quality process labels is prohibitively expensive, making them particularly vulnerable to reward hacking. To address these challenges, we propose PRIME (Process Reinforcement through IMplicit rEwards), which enables online PRM updates using only policy rollouts and outcome labels through implict process rewards. PRIME combines well with various advantage functions and forgoes the dedicated reward model training phrase that existing approaches require, substantially reducing the development overhead. We demonstrate PRIME's effectiveness on competitional math and coding. Starting from Qwen2.5-Math-7B-Base, PRIME achieves a 15.1% average improvement across several key reasoning benchmarks over the SFT model. Notably, our resulting model, Eurus-2-7B-PRIME, surpasses Qwen2.5-Math-7B-Instruct on seven reasoning benchmarks with 10% of its training data.