Exploration de la limite de la récompense de résultat pour l'apprentissage du raisonnement mathématique

Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning

February 10, 2025

Auteurs: Chengqi Lyu, Songyang Gao, Yuzhe Gu, Wenwei Zhang, Jianfei Gao, Kuikun Liu, Ziyi Wang, Shuaibin Li, Qian Zhao, Haian Huang, Weihan Cao, Jiangning Liu, Hongwei Liu, Junnan Liu, Songyang Zhang, Dahua Lin, Kai Chen

cs.AI

Résumé

Les capacités de raisonnement, en particulier pour résoudre des problèmes mathématiques complexes, sont des composantes cruciales de l'intelligence générale. Les récents progrès réalisés par des entreprises privées, tels que les modèles de la série o d'OpenAI, ont fait des avancées remarquables dans les tâches de raisonnement. Cependant, les détails techniques complets restent non révélés, et les techniques censées être adoptées sont uniquement le renforcement par apprentissage (RL) et la longue chaîne de pensées. Cet article propose un nouveau cadre RL, appelé OREAL, pour atteindre la limite de performance pouvant être atteinte grâce à l'apprentissage par renforcement basé sur les résultats pour les tâches de raisonnement mathématique, où seuls des récompenses binaires sont facilement accessibles. Nous prouvons théoriquement que le clonage de comportement sur des trajectoires positives issues de l'échantillonnage best-of-N (BoN) est suffisant pour apprendre la politique optimale régularisée par KL dans des environnements de rétroaction binaire. Cette formulation implique en outre que les récompenses des échantillons négatifs doivent être remodelées pour assurer la cohérence du gradient entre les échantillons positifs et négatifs. Pour atténuer les difficultés persistantes causées par les récompenses clairsemées en RL, qui sont même exacerbées par la correction partielle de la longue chaîne de pensées pour les tâches de raisonnement, nous appliquons en outre un modèle de récompense au niveau des jetons pour échantillonner les jetons importants dans les trajectoires de raisonnement pour l'apprentissage. Avec OREAL, pour la première fois, un modèle 7B peut obtenir une précision de 94,0 pass@1 sur MATH-500 grâce au RL, étant à égalité avec les modèles 32B. OREAL-32B dépasse également les modèles 32B précédents entraînés par distillation avec une précision de 95,0 pass@1 sur MATH-500. Notre étude indique également l'importance des modèles de politique initiaux et des requêtes d'entraînement pour le RL. Le code, les modèles et les données seront publiés pour bénéficier des futures recherches sur https://github.com/InternLM/OREAL.

English

Reasoning abilities, especially those for solving complex math problems, are crucial components of general intelligence. Recent advances by proprietary companies, such as o-series models of OpenAI, have made remarkable progress on reasoning tasks. However, the complete technical details remain unrevealed, and the techniques that are believed certainly to be adopted are only reinforcement learning (RL) and the long chain of thoughts. This paper proposes a new RL framework, termed OREAL, to pursue the performance limit that can be achieved through Outcome REwArd-based reinforcement Learning for mathematical reasoning tasks, where only binary outcome rewards are easily accessible. We theoretically prove that behavior cloning on positive trajectories from best-of-N (BoN) sampling is sufficient to learn the KL-regularized optimal policy in binary feedback environments. This formulation further implies that the rewards of negative samples should be reshaped to ensure the gradient consistency between positive and negative samples. To alleviate the long-existing difficulties brought by sparse rewards in RL, which are even exacerbated by the partial correctness of the long chain of thought for reasoning tasks, we further apply a token-level reward model to sample important tokens in reasoning trajectories for learning. With OREAL, for the first time, a 7B model can obtain 94.0 pass@1 accuracy on MATH-500 through RL, being on par with 32B models. OREAL-32B also surpasses previous 32B models trained by distillation with 95.0 pass@1 accuracy on MATH-500. Our investigation also indicates the importance of initial policy models and training queries for RL. Code, models, and data will be released to benefit future researchhttps://github.com/InternLM/OREAL.