Esplorare il Limite della Ricompensa dell'Esito per l'Apprendimento del Ragionamento Matematico

Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning

February 10, 2025

Autori: Chengqi Lyu, Songyang Gao, Yuzhe Gu, Wenwei Zhang, Jianfei Gao, Kuikun Liu, Ziyi Wang, Shuaibin Li, Qian Zhao, Haian Huang, Weihan Cao, Jiangning Liu, Hongwei Liu, Junnan Liu, Songyang Zhang, Dahua Lin, Kai Chen

cs.AI

Abstract

Le capacità di ragionamento, specialmente per risolvere problemi matematici complessi, sono componenti cruciali dell'intelligenza generale. Recenti progressi compiuti da aziende proprietarie, come i modelli della serie o di OpenAI, hanno ottenuto risultati notevoli su compiti di ragionamento. Tuttavia, i dettagli tecnici completi rimangono nascosti, e le tecniche che si ritiene siano state adottate sono solo apprendimento per rinforzo (RL) e lunghe catene di pensieri. Questo articolo propone un nuovo quadro RL, denominato OREAL, per perseguire il limite delle prestazioni che possono essere raggiunte attraverso l'apprendimento per rinforzo basato su Esito e Ricompensa per compiti di ragionamento matematico, dove solo le ricompense binarie sono facilmente accessibili. Dimostriamo teoricamente che il clonaggio del comportamento su traiettorie positive da campionamenti migliori di N (BoN) è sufficiente per apprendere la politica ottimale regolarizzata KL in ambienti di feedback binario. Questa formulazione implica inoltre che le ricompense dei campioni negativi debbano essere ridisegnate per garantire la coerenza del gradiente tra campioni positivi e negativi. Per alleviare le difficoltà a lungo esistenti causate dalle scarse ricompense in RL, che sono addirittura accentuate dalla correttezza parziale delle lunghe catene di pensiero per i compiti di ragionamento, applichiamo ulteriormente un modello di ricompensa a livello di token per campionare token importanti nelle traiettorie di ragionamento per l'apprendimento. Con OREAL, per la prima volta, un modello da 7B può ottenere un'accuratezza pass@1 del 94,0 su MATH-500 tramite RL, essendo all'altezza dei modelli da 32B. OREAL-32B supera anche i precedenti modelli da 32B addestrati per distillazione con un'accuratezza pass@1 del 95,0 su MATH-500. La nostra indagine indica anche l'importanza dei modelli di politica iniziale e delle query di addestramento per RL. Il codice, i modelli e i dati saranno rilasciati per beneficiare la ricerca futura su https://github.com/InternLM/OREAL.

English

Reasoning abilities, especially those for solving complex math problems, are crucial components of general intelligence. Recent advances by proprietary companies, such as o-series models of OpenAI, have made remarkable progress on reasoning tasks. However, the complete technical details remain unrevealed, and the techniques that are believed certainly to be adopted are only reinforcement learning (RL) and the long chain of thoughts. This paper proposes a new RL framework, termed OREAL, to pursue the performance limit that can be achieved through Outcome REwArd-based reinforcement Learning for mathematical reasoning tasks, where only binary outcome rewards are easily accessible. We theoretically prove that behavior cloning on positive trajectories from best-of-N (BoN) sampling is sufficient to learn the KL-regularized optimal policy in binary feedback environments. This formulation further implies that the rewards of negative samples should be reshaped to ensure the gradient consistency between positive and negative samples. To alleviate the long-existing difficulties brought by sparse rewards in RL, which are even exacerbated by the partial correctness of the long chain of thought for reasoning tasks, we further apply a token-level reward model to sample important tokens in reasoning trajectories for learning. With OREAL, for the first time, a 7B model can obtain 94.0 pass@1 accuracy on MATH-500 through RL, being on par with 32B models. OREAL-32B also surpasses previous 32B models trained by distillation with 95.0 pass@1 accuracy on MATH-500. Our investigation also indicates the importance of initial policy models and training queries for RL. Code, models, and data will be released to benefit future researchhttps://github.com/InternLM/OREAL.