AceReason-Nemotron 1.1: Progressi nel Ragionamento Matematico e di Codice attraverso la Sinergia tra SFT e RL

AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy

June 16, 2025

Autori: Zihan Liu, Zhuolin Yang, Yang Chen, Chankyu Lee, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

cs.AI

Abstract

In questo lavoro, indaghiamo la sinergia tra il fine-tuning supervisionato (SFT) e l'apprendimento per rinforzo (RL) nello sviluppo di modelli di ragionamento robusti. Iniziamo curando i dati di addestramento per l'SFT attraverso due strategie di scalabilità: aumentare il numero di prompt raccolti e il numero di risposte generate per ciascun prompt. Entrambi gli approcci portano a miglioramenti significativi nelle prestazioni di ragionamento, con un aumento più sostanziale ottenuto scalando il numero di prompt. Successivamente, esploriamo le seguenti domande riguardanti la sinergia tra SFT e RL: (i) Un modello SFT più forte porta costantemente a migliori prestazioni finali dopo un addestramento RL su larga scala? (ii) Come possiamo determinare una temperatura di campionamento appropriata durante l'addestramento RL per bilanciare efficacemente esplorazione e sfruttamento per una data inizializzazione SFT? I nostri risultati suggeriscono che la (i) è vera, a condizione che venga condotto un addestramento RL efficace, in particolare quando la temperatura di campionamento viene scelta con cura per mantenere l'entropia aggiustata per la temperatura intorno a 0,3, un'impostazione che raggiunge un buon equilibrio tra esplorazione e sfruttamento. È interessante notare che il divario di prestazioni tra i modelli SFT iniziali si riduce significativamente durante il processo RL. Sfruttando una solida base SFT e approfondimenti sull'interazione sinergica tra SFT e RL, il nostro modello AceReason-Nemotron-1.1 7B supera significativamente AceReason-Nemotron-1.0 e raggiunge nuove prestazioni all'avanguardia tra i modelli di ragionamento basati su Qwen2.5-7B su benchmark impegnativi di matematica e codice, dimostrando così l'efficacia della nostra ricetta di post-addestramento. Rilasciamo il modello e i dati all'indirizzo: https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B

English

In this work, we investigate the synergy between supervised fine-tuning (SFT) and reinforcement learning (RL) in developing strong reasoning models. We begin by curating the SFT training data through two scaling strategies: increasing the number of collected prompts and the number of generated responses per prompt. Both approaches yield notable improvements in reasoning performance, with scaling the number of prompts resulting in more substantial gains. We then explore the following questions regarding the synergy between SFT and RL: (i) Does a stronger SFT model consistently lead to better final performance after large-scale RL training? (ii) How can we determine an appropriate sampling temperature during RL training to effectively balance exploration and exploitation for a given SFT initialization? Our findings suggest that (i) holds true, provided effective RL training is conducted, particularly when the sampling temperature is carefully chosen to maintain the temperature-adjusted entropy around 0.3, a setting that strikes a good balance between exploration and exploitation. Notably, the performance gap between initial SFT models narrows significantly throughout the RL process. Leveraging a strong SFT foundation and insights into the synergistic interplay between SFT and RL, our AceReason-Nemotron-1.1 7B model significantly outperforms AceReason-Nemotron-1.0 and achieves new state-of-the-art performance among Qwen2.5-7B-based reasoning models on challenging math and code benchmarks, thereby demonstrating the effectiveness of our post-training recipe. We release the model and data at: https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B