実践的な二段階レシピによる数学LLM：SFTで精度を最大化し、強化学習で効率性を向上

A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning

July 11, 2025

著者: Hiroshi Yoshihara, Taiki Yamaguchi, Yuichi Inoue

cs.AI

要旨

大規模言語モデル（LLMs）の数学的推論能力を向上させることは、AIの能力を進歩させる上で重要な課題です。教師ありファインチューニング（SFT）と強化学習（RL）が主要なトレーニングパラダイムである一方で、それらを組み合わせて精度と効率の両方を最大化する体系的な方法論は、まだほとんど検討されていません。本論文では、拡張されたSFTとオンライン推論からのRL（GRPO）を戦略的に統合した、実用的で効果的なトレーニングレシピを紹介します。我々は、これらの手法が補完的であり、競合するものではないと主張します。すなわち、長時間のSFTフェーズがまずモデルの精度を限界まで押し上げ、その後GRPOフェーズがこのピーク性能を維持しながらトークン効率を劇的に改善します。我々の実験では、SFTを最大10エポックまで拡張することが性能のブレークスルーに不可欠であり、このフレームワークにおけるGRPOの主な役割は解の長さを最適化することであることが明らかになりました。我々のレシピの有効性は、厳密にリークフリーなAI数学オリンピック（AIMO）において2,200以上のチームの中で高い順位を獲得するなど、挑戦的なベンチマークでのトップクラスのパフォーマンスを通じて厳密に検証されています。この研究は、非常に正確で実用的に効率的な最先端の数学的推論モデルを開発するための、実戦で鍛えられた青写真をコミュニティに提供します。完全な再現性を確保し、将来の研究を促進するために、我々はすべてのコード、モデルチェックポイント、トレーニング設定を含むフレームワーク全体をhttps://github.com/analokmaus/kaggle-aimo2-fast-math-r1でオープンソースとして公開します。

English

Enhancing the mathematical reasoning of Large Language Models (LLMs) is a pivotal challenge in advancing AI capabilities. While Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) are the dominant training paradigms, a systematic methodology for combining them to maximize both accuracy and efficiency remains largely unexplored. This paper introduces a practical and effective training recipe that strategically integrates extended SFT with RL from online inference (GRPO). We posit that these methods play complementary, not competing, roles: a prolonged SFT phase first pushes the model's accuracy to its limits, after which a GRPO phase dramatically improves token efficiency while preserving this peak performance. Our experiments reveal that extending SFT for as many as 10 epochs is crucial for performance breakthroughs, and that the primary role of GRPO in this framework is to optimize solution length. The efficacy of our recipe is rigorously validated through top-tier performance on challenging benchmarks, including a high rank among over 2,200 teams in the strictly leak-free AI Mathematical Olympiad (AIMO). This work provides the community with a battle-tested blueprint for developing state-of-the-art mathematical reasoners that are both exceptionally accurate and practically efficient. To ensure full reproducibility and empower future research, we will open-source our entire framework, including all code, model checkpoints, and training configurations at https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.