AceReason-Nemotron 1.1: Avanzando en el razonamiento matemático y de código mediante la sinergia de SFT y RL

AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy

June 16, 2025

Autores: Zihan Liu, Zhuolin Yang, Yang Chen, Chankyu Lee, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

cs.AI

Resumen

En este trabajo, investigamos la sinergia entre el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo (RL) en el desarrollo de modelos de razonamiento robustos. Comenzamos curando los datos de entrenamiento para SFT mediante dos estrategias de escalado: incrementar el número de indicaciones (prompts) recopiladas y el número de respuestas generadas por indicación. Ambos enfoques producen mejoras notables en el rendimiento del razonamiento, siendo el escalado del número de indicaciones el que genera ganancias más sustanciales. Luego, exploramos las siguientes preguntas respecto a la sinergia entre SFT y RL: (i) ¿Un modelo SFT más fuerte conduce consistentemente a un mejor rendimiento final después de un entrenamiento RL a gran escala? (ii) ¿Cómo podemos determinar una temperatura de muestreo adecuada durante el entrenamiento RL para equilibrar efectivamente la exploración y la explotación dada una inicialización SFT? Nuestros hallazgos sugieren que (i) es cierto, siempre que se lleve a cabo un entrenamiento RL efectivo, particularmente cuando la temperatura de muestreo se elige cuidadosamente para mantener la entropía ajustada por temperatura alrededor de 0.3, un valor que logra un buen equilibrio entre exploración y explotación. Notablemente, la brecha de rendimiento entre los modelos SFT iniciales se reduce significativamente a lo largo del proceso RL. Aprovechando una base SFT sólida y las ideas sobre la interacción sinérgica entre SFT y RL, nuestro modelo AceReason-Nemotron-1.1 7B supera significativamente a AceReason-Nemotron-1.0 y alcanza un nuevo estado del arte entre los modelos de razonamiento basados en Qwen2.5-7B en benchmarks desafiantes de matemáticas y código, demostrando así la efectividad de nuestra receta de post-entrenamiento. Publicamos el modelo y los datos en: https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B.

English

In this work, we investigate the synergy between supervised fine-tuning (SFT) and reinforcement learning (RL) in developing strong reasoning models. We begin by curating the SFT training data through two scaling strategies: increasing the number of collected prompts and the number of generated responses per prompt. Both approaches yield notable improvements in reasoning performance, with scaling the number of prompts resulting in more substantial gains. We then explore the following questions regarding the synergy between SFT and RL: (i) Does a stronger SFT model consistently lead to better final performance after large-scale RL training? (ii) How can we determine an appropriate sampling temperature during RL training to effectively balance exploration and exploitation for a given SFT initialization? Our findings suggest that (i) holds true, provided effective RL training is conducted, particularly when the sampling temperature is carefully chosen to maintain the temperature-adjusted entropy around 0.3, a setting that strikes a good balance between exploration and exploitation. Notably, the performance gap between initial SFT models narrows significantly throughout the RL process. Leveraging a strong SFT foundation and insights into the synergistic interplay between SFT and RL, our AceReason-Nemotron-1.1 7B model significantly outperforms AceReason-Nemotron-1.0 and achieves new state-of-the-art performance among Qwen2.5-7B-based reasoning models on challenging math and code benchmarks, thereby demonstrating the effectiveness of our post-training recipe. We release the model and data at: https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B