Ein praktisches zweistufiges Rezept für mathematische LLMs: Maximierung der Genauigkeit durch SFT und Effizienz durch Reinforcement Learning

A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning

July 11, 2025

papers.authors: Hiroshi Yoshihara, Taiki Yamaguchi, Yuichi Inoue

cs.AI

papers.abstract

Die Verbesserung des mathematischen Denkens von Large Language Models (LLMs) stellt eine zentrale Herausforderung bei der Weiterentwicklung von KI-Fähigkeiten dar. Während Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) die dominierenden Trainingsparadigmen sind, bleibt eine systematische Methodik zur Kombination dieser Ansätze, um sowohl Genauigkeit als auch Effizienz zu maximieren, weitgehend unerforscht. Dieses Papier stellt ein praktisches und effektives Trainingsrezept vor, das strategisch erweitertes SFT mit RL aus Online-Inferenz (GRPO) integriert. Wir postulieren, dass diese Methoden komplementäre und nicht konkurrierende Rollen spielen: Eine verlängerte SFT-Phase treibt zunächst die Genauigkeit des Modells an seine Grenzen, woraufhin eine GRPO-Phase die Token-Effizienz dramatisch verbessert, während diese Spitzenleistung erhalten bleibt. Unsere Experimente zeigen, dass eine Verlängerung des SFT über bis zu 10 Epochen entscheidend für Leistungsdurchbrüche ist und dass die primäre Rolle von GRPO in diesem Rahmen darin besteht, die Lösungslänge zu optimieren. Die Wirksamkeit unseres Rezepts wird durch Spitzenleistungen auf anspruchsvollen Benchmarks rigoros validiert, einschließlich eines hohen Rangs unter über 2.200 Teams in der streng leckfreien AI Mathematical Olympiad (AIMO). Diese Arbeit bietet der Gemeinschaft einen erprobten Leitfaden für die Entwicklung von mathematischen Denkmodellen, die sowohl außergewöhnlich genau als auch praktisch effizient sind. Um vollständige Reproduzierbarkeit zu gewährleisten und zukünftige Forschung zu ermöglichen, werden wir unser gesamtes Framework, einschließlich aller Codes, Modell-Checkpoints und Trainingskonfigurationen, unter https://github.com/analokmaus/kaggle-aimo2-fast-math-r1 open-source zur Verfügung stellen.

English

Enhancing the mathematical reasoning of Large Language Models (LLMs) is a pivotal challenge in advancing AI capabilities. While Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) are the dominant training paradigms, a systematic methodology for combining them to maximize both accuracy and efficiency remains largely unexplored. This paper introduces a practical and effective training recipe that strategically integrates extended SFT with RL from online inference (GRPO). We posit that these methods play complementary, not competing, roles: a prolonged SFT phase first pushes the model's accuracy to its limits, after which a GRPO phase dramatically improves token efficiency while preserving this peak performance. Our experiments reveal that extending SFT for as many as 10 epochs is crucial for performance breakthroughs, and that the primary role of GRPO in this framework is to optimize solution length. The efficacy of our recipe is rigorously validated through top-tier performance on challenging benchmarks, including a high rank among over 2,200 teams in the strictly leak-free AI Mathematical Olympiad (AIMO). This work provides the community with a battle-tested blueprint for developing state-of-the-art mathematical reasoners that are both exceptionally accurate and practically efficient. To ensure full reproducibility and empower future research, we will open-source our entire framework, including all code, model checkpoints, and training configurations at https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.