AceReason-Nemotron 1.1: Avançando o Raciocínio Matemático e de Código através da Sinergia entre SFT e RL

AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy

June 16, 2025

Autores: Zihan Liu, Zhuolin Yang, Yang Chen, Chankyu Lee, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

cs.AI

Resumo

Neste trabalho, investigamos a sinergia entre o ajuste fino supervisionado (SFT) e o aprendizado por reforço (RL) no desenvolvimento de modelos robustos de raciocínio. Começamos selecionando os dados de treinamento para SFT por meio de duas estratégias de escalonamento: aumentar o número de prompts coletados e o número de respostas geradas por prompt. Ambas as abordagens resultam em melhorias notáveis no desempenho de raciocínio, com o escalonamento do número de prompts proporcionando ganhos mais substanciais. Em seguida, exploramos as seguintes questões sobre a sinergia entre SFT e RL: (i) Um modelo SFT mais forte leva consistentemente a um melhor desempenho final após o treinamento em larga escala com RL? (ii) Como podemos determinar uma temperatura de amostragem adequada durante o treinamento com RL para equilibrar efetivamente a exploração e a exploração para uma inicialização SFT específica? Nossas descobertas sugerem que (i) é verdadeiro, desde que o treinamento com RL seja eficaz, especialmente quando a temperatura de amostragem é cuidadosamente escolhida para manter a entropia ajustada pela temperatura em torno de 0,3, uma configuração que atinge um bom equilíbrio entre exploração e exploração. Notavelmente, a diferença de desempenho entre os modelos SFT iniciais diminui significativamente ao longo do processo de RL. Aproveitando uma base SFT sólida e insights sobre a interação sinérgica entre SFT e RL, nosso modelo AceReason-Nemotron-1.1 7B supera significativamente o AceReason-Nemotron-1.0 e alcança um novo estado da arte entre os modelos de raciocínio baseados em Qwen2.5-7B em benchmarks desafiadores de matemática e código, demonstrando assim a eficácia de nossa receita de pós-treinamento. Disponibilizamos o modelo e os dados em: https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B.

English

In this work, we investigate the synergy between supervised fine-tuning (SFT) and reinforcement learning (RL) in developing strong reasoning models. We begin by curating the SFT training data through two scaling strategies: increasing the number of collected prompts and the number of generated responses per prompt. Both approaches yield notable improvements in reasoning performance, with scaling the number of prompts resulting in more substantial gains. We then explore the following questions regarding the synergy between SFT and RL: (i) Does a stronger SFT model consistently lead to better final performance after large-scale RL training? (ii) How can we determine an appropriate sampling temperature during RL training to effectively balance exploration and exploitation for a given SFT initialization? Our findings suggest that (i) holds true, provided effective RL training is conducted, particularly when the sampling temperature is carefully chosen to maintain the temperature-adjusted entropy around 0.3, a setting that strikes a good balance between exploration and exploitation. Notably, the performance gap between initial SFT models narrows significantly throughout the RL process. Leveraging a strong SFT foundation and insights into the synergistic interplay between SFT and RL, our AceReason-Nemotron-1.1 7B model significantly outperforms AceReason-Nemotron-1.0 and achieves new state-of-the-art performance among Qwen2.5-7B-based reasoning models on challenging math and code benchmarks, thereby demonstrating the effectiveness of our post-training recipe. We release the model and data at: https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B