Практический двухэтапный подход к созданию математических языковых моделей: максимизация точности с помощью тонкой настройки (SFT) и повышение эффективности с использованием обучения с подкреплением

Аннотация

Улучшение математических рассуждений больших языковых моделей (LLM) является ключевой задачей в развитии возможностей искусственного интеллекта. Хотя обучение с учителем (Supervised Fine-Tuning, SFT) и обучение с подкреплением (Reinforcement Learning, RL) являются доминирующими парадигмами обучения, систематическая методология их комбинирования для максимизации как точности, так и эффективности остается в значительной степени неисследованной. В данной статье представлен практичный и эффективный рецепт обучения, который стратегически интегрирует расширенное SFT с RL на основе онлайн-вывода (GRPO). Мы утверждаем, что эти методы играют взаимодополняющие, а не конкурирующие роли: продолжительная фаза SFT сначала выводит точность модели на предельный уровень, после чего фаза GRPO значительно улучшает эффективность использования токенов, сохраняя при этом пиковую производительность. Наши эксперименты показывают, что расширение SFT до 10 эпох является критически важным для достижения прорывов в производительности, а основная роль GRPO в этой структуре заключается в оптимизации длины решений. Эффективность нашего подхода строго подтверждается выдающимися результатами на сложных тестовых наборах, включая высокий рейтинг среди более чем 2200 команд на строго защищенной от утечек Олимпиаде по искусственному интеллекту в математике (AIMO). Эта работа предоставляет сообществу проверенный на практике план для разработки передовых математических решателей, которые одновременно исключительно точны и практически эффективны. Для обеспечения полной воспроизводимости и поддержки будущих исследований мы опубликуем весь наш фреймворк, включая весь код, контрольные точки моделей и конфигурации обучения, по адресу https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.

English

Enhancing the mathematical reasoning of Large Language Models (LLMs) is a pivotal challenge in advancing AI capabilities. While Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) are the dominant training paradigms, a systematic methodology for combining them to maximize both accuracy and efficiency remains largely unexplored. This paper introduces a practical and effective training recipe that strategically integrates extended SFT with RL from online inference (GRPO). We posit that these methods play complementary, not competing, roles: a prolonged SFT phase first pushes the model's accuracy to its limits, after which a GRPO phase dramatically improves token efficiency while preserving this peak performance. Our experiments reveal that extending SFT for as many as 10 epochs is crucial for performance breakthroughs, and that the primary role of GRPO in this framework is to optimize solution length. The efficacy of our recipe is rigorously validated through top-tier performance on challenging benchmarks, including a high rank among over 2,200 teams in the strictly leak-free AI Mathematical Olympiad (AIMO). This work provides the community with a battle-tested blueprint for developing state-of-the-art mathematical reasoners that are both exceptionally accurate and practically efficient. To ensure full reproducibility and empower future research, we will open-source our entire framework, including all code, model checkpoints, and training configurations at https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.

A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning

Аннотация

Support