Исследование предела вознаграждения за результат при обучении математическому рассуждению

Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning

February 10, 2025

Авторы: Chengqi Lyu, Songyang Gao, Yuzhe Gu, Wenwei Zhang, Jianfei Gao, Kuikun Liu, Ziyi Wang, Shuaibin Li, Qian Zhao, Haian Huang, Weihan Cao, Jiangning Liu, Hongwei Liu, Junnan Liu, Songyang Zhang, Dahua Lin, Kai Chen

cs.AI

Аннотация

Способности к рассуждению, особенно в решении сложных математических задач, являются ключевыми компонентами общего интеллекта. Недавние достижения частных компаний, такие как модели серии o от OpenAI, позволили сделать значительный прогресс в задачах рассуждения. Однако полные технические детали остаются нераскрытыми, и предполагаемые используемые методы - это только обучение с подкреплением (RL) и длинная цепочка мыслей. В данной статье предлагается новая структура RL, названная OREAL, для достижения предельной производительности в математических задачах рассуждения, где доступны только бинарные исходные вознаграждения. Мы теоретически доказываем, что клонирование поведения на положительных траекториях из лучших N (BoN) выборок достаточно для изучения оптимальной политики с регуляризацией KL в средах с бинарной обратной связью. Эта формулировка также предполагает, что вознаграждения отрицательных образцов должны быть переформированы, чтобы обеспечить согласованность градиента между положительными и отрицательными образцами. Для преодоления долгосрочных трудностей, вызванных разреженными вознаграждениями в RL, которые усугубляются частичной правильностью длинной цепочки мыслей в задачах рассуждения, мы также применяем модель вознаграждения на уровне токенов для выборки важных токенов в траекториях рассуждения для обучения. С помощью OREAL впервые модель 7B может достичь точности 94,0 pass@1 на MATH-500 через RL, что соответствует моделям 32B. OREAL-32B также превосходит предыдущие модели 32B, обученные дистилляцией, с точностью 95,0 pass@1 на MATH-500. Наше исследование также указывает на важность начальных моделей политики и обучающих запросов для RL. Код, модели и данные будут опубликованы для будущих исследований на https://github.com/InternLM/OREAL.

English

Reasoning abilities, especially those for solving complex math problems, are crucial components of general intelligence. Recent advances by proprietary companies, such as o-series models of OpenAI, have made remarkable progress on reasoning tasks. However, the complete technical details remain unrevealed, and the techniques that are believed certainly to be adopted are only reinforcement learning (RL) and the long chain of thoughts. This paper proposes a new RL framework, termed OREAL, to pursue the performance limit that can be achieved through Outcome REwArd-based reinforcement Learning for mathematical reasoning tasks, where only binary outcome rewards are easily accessible. We theoretically prove that behavior cloning on positive trajectories from best-of-N (BoN) sampling is sufficient to learn the KL-regularized optimal policy in binary feedback environments. This formulation further implies that the rewards of negative samples should be reshaped to ensure the gradient consistency between positive and negative samples. To alleviate the long-existing difficulties brought by sparse rewards in RL, which are even exacerbated by the partial correctness of the long chain of thought for reasoning tasks, we further apply a token-level reward model to sample important tokens in reasoning trajectories for learning. With OREAL, for the first time, a 7B model can obtain 94.0 pass@1 accuracy on MATH-500 through RL, being on par with 32B models. OREAL-32B also surpasses previous 32B models trained by distillation with 95.0 pass@1 accuracy on MATH-500. Our investigation also indicates the importance of initial policy models and training queries for RL. Code, models, and data will be released to benefit future researchhttps://github.com/InternLM/OREAL.