AceReason-Nemotron 1.1: Улучшение математического и программного мышления за счет синергии SFT и RL

AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy

June 16, 2025

Авторы: Zihan Liu, Zhuolin Yang, Yang Chen, Chankyu Lee, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

cs.AI

Аннотация

В данной работе мы исследуем синергию между тонкой настройкой с учителем (SFT) и обучением с подкреплением (RL) в разработке мощных моделей для решения задач. Мы начинаем с подготовки данных для обучения SFT с использованием двух стратегий масштабирования: увеличения количества собранных запросов и количества сгенерированных ответов на каждый запрос. Оба подхода приводят к значительному улучшению качества рассуждений, причем масштабирование количества запросов дает более существенный прирост. Затем мы исследуем следующие вопросы, касающиеся синергии между SFT и RL: (i) Приводит ли более сильная модель SFT к лучшему конечному результату после масштабного обучения RL? (ii) Как определить подходящую температуру выборки во время обучения RL, чтобы эффективно сбалансировать исследование и использование для данной инициализации SFT? Наши результаты показывают, что (i) верно при условии эффективного обучения RL, особенно когда температура выборки тщательно подобрана для поддержания скорректированной по температуре энтропии около 0.3, что обеспечивает хороший баланс между исследованием и использованием. Примечательно, что разрыв в производительности между начальными моделями SFT значительно сокращается в процессе RL. Используя сильную основу SFT и понимание синергетического взаимодействия между SFT и RL, наша модель AceReason-Nemotron-1.1 7B значительно превосходит AceReason-Nemotron-1.0 и устанавливает новый рекорд среди моделей для рассуждений на основе Qwen2.5-7B на сложных математических и программных тестах, демонстрируя эффективность нашего подхода к пост-обучению. Мы публикуем модель и данные по адресу: https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B.

English

In this work, we investigate the synergy between supervised fine-tuning (SFT) and reinforcement learning (RL) in developing strong reasoning models. We begin by curating the SFT training data through two scaling strategies: increasing the number of collected prompts and the number of generated responses per prompt. Both approaches yield notable improvements in reasoning performance, with scaling the number of prompts resulting in more substantial gains. We then explore the following questions regarding the synergy between SFT and RL: (i) Does a stronger SFT model consistently lead to better final performance after large-scale RL training? (ii) How can we determine an appropriate sampling temperature during RL training to effectively balance exploration and exploitation for a given SFT initialization? Our findings suggest that (i) holds true, provided effective RL training is conducted, particularly when the sampling temperature is carefully chosen to maintain the temperature-adjusted entropy around 0.3, a setting that strikes a good balance between exploration and exploitation. Notably, the performance gap between initial SFT models narrows significantly throughout the RL process. Leveraging a strong SFT foundation and insights into the synergistic interplay between SFT and RL, our AceReason-Nemotron-1.1 7B model significantly outperforms AceReason-Nemotron-1.0 and achieves new state-of-the-art performance among Qwen2.5-7B-based reasoning models on challenging math and code benchmarks, thereby demonstrating the effectiveness of our post-training recipe. We release the model and data at: https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B