AceReason-Nemotron 1.1: Vooruitgang in Wiskunde en Code Redeneren door Synergie tussen SFT en RL

AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy

June 16, 2025

Auteurs: Zihan Liu, Zhuolin Yang, Yang Chen, Chankyu Lee, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

cs.AI

Samenvatting

In dit onderzoek bestuderen we de synergie tussen supervised fine-tuning (SFT) en reinforcement learning (RL) bij het ontwikkelen van krachtige redeneermodellen. We beginnen met het samenstellen van de SFT-trainingsdata via twee schaalstrategieën: het vergroten van het aantal verzamelde prompts en het aantal gegenereerde antwoorden per prompt. Beide benaderingen leiden tot aanzienlijke verbeteringen in de redeneerprestaties, waarbij het schalen van het aantal prompts de grootste winst oplevert. Vervolgens onderzoeken we de volgende vragen over de synergie tussen SFT en RL: (i) Leidt een sterker SFT-model consistent tot betere eindprestaties na grootschalige RL-training? (ii) Hoe kunnen we een geschikte samplingtemperatuur bepalen tijdens RL-training om effectief een balans te vinden tussen exploratie en exploitatie voor een gegeven SFT-initialisatie? Onze bevindingen suggereren dat (i) waar is, mits effectieve RL-training wordt uitgevoerd, vooral wanneer de samplingtemperatuur zorgvuldig wordt gekozen om de temperatuurgecorrigeerde entropie rond 0,3 te houden, een instelling die een goede balans biedt tussen exploratie en exploitatie. Opmerkelijk is dat het prestatieverschil tussen initiële SFT-modellen aanzienlijk kleiner wordt tijdens het RL-proces. Door gebruik te maken van een sterke SFT-basis en inzichten in de synergetische wisselwerking tussen SFT en RL, presteert ons AceReason-Nemotron-1.1 7B-model aanzienlijk beter dan AceReason-Nemotron-1.0 en behaalt het nieuwe state-of-the-art prestaties onder Qwen2.5-7B-gebaseerde redeneermodellen op uitdagende wiskundige en code-benchmarks, wat de effectiviteit van onze post-trainingsmethode aantoont. We maken het model en de data beschikbaar op: https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B.

English

In this work, we investigate the synergy between supervised fine-tuning (SFT) and reinforcement learning (RL) in developing strong reasoning models. We begin by curating the SFT training data through two scaling strategies: increasing the number of collected prompts and the number of generated responses per prompt. Both approaches yield notable improvements in reasoning performance, with scaling the number of prompts resulting in more substantial gains. We then explore the following questions regarding the synergy between SFT and RL: (i) Does a stronger SFT model consistently lead to better final performance after large-scale RL training? (ii) How can we determine an appropriate sampling temperature during RL training to effectively balance exploration and exploitation for a given SFT initialization? Our findings suggest that (i) holds true, provided effective RL training is conducted, particularly when the sampling temperature is carefully chosen to maintain the temperature-adjusted entropy around 0.3, a setting that strikes a good balance between exploration and exploitation. Notably, the performance gap between initial SFT models narrows significantly throughout the RL process. Leveraging a strong SFT foundation and insights into the synergistic interplay between SFT and RL, our AceReason-Nemotron-1.1 7B model significantly outperforms AceReason-Nemotron-1.0 and achieves new state-of-the-art performance among Qwen2.5-7B-based reasoning models on challenging math and code benchmarks, thereby demonstrating the effectiveness of our post-training recipe. We release the model and data at: https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B