Explorando el Límite de la Recompensa de Resultado para el Aprendizaje del Razonamiento Matemático

Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning

February 10, 2025

Autores: Chengqi Lyu, Songyang Gao, Yuzhe Gu, Wenwei Zhang, Jianfei Gao, Kuikun Liu, Ziyi Wang, Shuaibin Li, Qian Zhao, Haian Huang, Weihan Cao, Jiangning Liu, Hongwei Liu, Junnan Liu, Songyang Zhang, Dahua Lin, Kai Chen

cs.AI

Resumen

Las habilidades de razonamiento, especialmente aquellas para resolver problemas matemáticos complejos, son componentes cruciales de la inteligencia general. Avances recientes realizados por empresas privadas, como los modelos de la serie o de OpenAI, han logrado un progreso notable en tareas de razonamiento. Sin embargo, los detalles técnicos completos aún no han sido revelados, y las técnicas que se cree que han sido adoptadas son solo el aprendizaje por refuerzo (RL) y la larga cadena de pensamientos. Este documento propone un nuevo marco de RL, denominado OREAL, para perseguir el límite de rendimiento que se puede lograr a través del Aprendizaje por Refuerzo basado en Resultados y Recompensas para tareas de razonamiento matemático, donde solo las recompensas de resultado binario son fácilmente accesibles. Teóricamente demostramos que la clonación de comportamiento en trayectorias positivas de muestreo de mejor-de-N (BoN) es suficiente para aprender la política óptima regularizada por KL en entornos de retroalimentación binaria. Esta formulación también implica que las recompensas de muestras negativas deben ser reformuladas para garantizar la consistencia del gradiente entre muestras positivas y negativas. Para aliviar las dificultades de larga data causadas por las recompensas escasas en RL, que incluso se ven exacerbadas por la corrección parcial de la larga cadena de pensamiento para tareas de razonamiento, aplicamos además un modelo de recompensa a nivel de token para muestrear tokens importantes en trayectorias de razonamiento para el aprendizaje. Con OREAL, por primera vez, un modelo de 7B puede obtener una precisión de 94.0 pass@1 en MATH-500 a través de RL, estando a la par con modelos de 32B. OREAL-32B también supera a modelos anteriores de 32B entrenados por destilación con una precisión de 95.0 pass@1 en MATH-500. Nuestra investigación también indica la importancia de los modelos de política inicial y las consultas de entrenamiento para RL. El código, los modelos y los datos se publicarán para beneficiar la investigación futura en https://github.com/InternLM/OREAL.

English

Reasoning abilities, especially those for solving complex math problems, are crucial components of general intelligence. Recent advances by proprietary companies, such as o-series models of OpenAI, have made remarkable progress on reasoning tasks. However, the complete technical details remain unrevealed, and the techniques that are believed certainly to be adopted are only reinforcement learning (RL) and the long chain of thoughts. This paper proposes a new RL framework, termed OREAL, to pursue the performance limit that can be achieved through Outcome REwArd-based reinforcement Learning for mathematical reasoning tasks, where only binary outcome rewards are easily accessible. We theoretically prove that behavior cloning on positive trajectories from best-of-N (BoN) sampling is sufficient to learn the KL-regularized optimal policy in binary feedback environments. This formulation further implies that the rewards of negative samples should be reshaped to ensure the gradient consistency between positive and negative samples. To alleviate the long-existing difficulties brought by sparse rewards in RL, which are even exacerbated by the partial correctness of the long chain of thought for reasoning tasks, we further apply a token-level reward model to sample important tokens in reasoning trajectories for learning. With OREAL, for the first time, a 7B model can obtain 94.0 pass@1 accuracy on MATH-500 through RL, being on par with 32B models. OREAL-32B also surpasses previous 32B models trained by distillation with 95.0 pass@1 accuracy on MATH-500. Our investigation also indicates the importance of initial policy models and training queries for RL. Code, models, and data will be released to benefit future researchhttps://github.com/InternLM/OREAL.