AceReason-Nemotron 1.1 : Progrès dans le raisonnement mathématique et algorithmique grâce à la synergie entre l'apprentissage supervisé fin (SFT) et l'apprentissage par renforcement (RL)

AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy

June 16, 2025

Auteurs: Zihan Liu, Zhuolin Yang, Yang Chen, Chankyu Lee, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

cs.AI

Résumé

Dans ce travail, nous étudions la synergie entre le fine-tuning supervisé (SFT) et l'apprentissage par renforcement (RL) dans le développement de modèles de raisonnement performants. Nous commençons par constituer les données d'entraînement pour le SFT à travers deux stratégies de mise à l'échelle : l'augmentation du nombre de prompts collectés et du nombre de réponses générées par prompt. Les deux approches entraînent des améliorations notables des performances en raisonnement, avec des gains plus substantiels lorsque le nombre de prompts est augmenté. Nous explorons ensuite les questions suivantes concernant la synergie entre le SFT et le RL : (i) Un modèle SFT plus performant conduit-il systématiquement à de meilleures performances finales après un entraînement RL à grande échelle ? (ii) Comment déterminer une température d'échantillonnage appropriée pendant l'entraînement RL pour équilibrer efficacement exploration et exploitation pour une initialisation SFT donnée ? Nos résultats suggèrent que (i) est vrai, à condition que l'entraînement RL soit effectif, en particulier lorsque la température d'échantillonnage est soigneusement choisie pour maintenir l'entropie ajustée à la température autour de 0,3, un réglage qui offre un bon équilibre entre exploration et exploitation. Notamment, l'écart de performance entre les modèles SFT initiaux se réduit significativement tout au long du processus RL. En tirant parti d'une base SFT solide et des insights sur l'interaction synergique entre le SFT et le RL, notre modèle AceReason-Nemotron-1.1 7B surpasse significativement AceReason-Nemotron-1.0 et atteint de nouvelles performances de pointe parmi les modèles de raisonnement basés sur Qwen2.5-7B sur des benchmarks exigeants en mathématiques et en code, démontrant ainsi l'efficacité de notre recette de post-entraînement. Nous mettons à disposition le modèle et les données à l'adresse suivante : https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B.

English

In this work, we investigate the synergy between supervised fine-tuning (SFT) and reinforcement learning (RL) in developing strong reasoning models. We begin by curating the SFT training data through two scaling strategies: increasing the number of collected prompts and the number of generated responses per prompt. Both approaches yield notable improvements in reasoning performance, with scaling the number of prompts resulting in more substantial gains. We then explore the following questions regarding the synergy between SFT and RL: (i) Does a stronger SFT model consistently lead to better final performance after large-scale RL training? (ii) How can we determine an appropriate sampling temperature during RL training to effectively balance exploration and exploitation for a given SFT initialization? Our findings suggest that (i) holds true, provided effective RL training is conducted, particularly when the sampling temperature is carefully chosen to maintain the temperature-adjusted entropy around 0.3, a setting that strikes a good balance between exploration and exploitation. Notably, the performance gap between initial SFT models narrows significantly throughout the RL process. Leveraging a strong SFT foundation and insights into the synergistic interplay between SFT and RL, our AceReason-Nemotron-1.1 7B model significantly outperforms AceReason-Nemotron-1.0 and achieves new state-of-the-art performance among Qwen2.5-7B-based reasoning models on challenging math and code benchmarks, thereby demonstrating the effectiveness of our post-training recipe. We release the model and data at: https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B