Een Praktisch Twee-Stappen Recept voor Wiskundige LLM's: Nauwkeurigheid Maximaliseren met SFT en Efficiëntie met Reinforcement Learning
A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning
July 11, 2025
Auteurs: Hiroshi Yoshihara, Taiki Yamaguchi, Yuichi Inoue
cs.AI
Samenvatting
Het verbeteren van het wiskundig redeneervermogen van Large Language Models (LLM's) is een cruciale uitdaging bij het bevorderen van AI-mogelijkheden. Hoewel Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL) de dominante trainingsparadigma's zijn, blijft een systematische methodologie om ze te combineren om zowel nauwkeurigheid als efficiëntie te maximaliseren grotendeels onontgonnen. Dit artikel introduceert een praktisch en effectief trainingsrecept dat strategisch uitgebreide SFT integreert met RL vanuit online inferentie (GRPO). Wij stellen dat deze methoden complementaire, niet concurrerende, rollen spelen: een verlengde SFT-fase duwt eerst de nauwkeurigheid van het model tot zijn limieten, waarna een GRPO-fase de token-efficiëntie aanzienlijk verbetert terwijl deze piekprestatie behouden blijft. Onze experimenten tonen aan dat het verlengen van SFT tot wel 10 epochs cruciaal is voor prestatie doorbraken, en dat de primaire rol van GRPO in dit framework het optimaliseren van de oplossingslengte is. De effectiviteit van ons recept wordt rigoureus gevalideerd door topprestaties op uitdagende benchmarks, inclusief een hoge rang onder meer dan 2.200 teams in de strikt lekvrije AI Mathematical Olympiad (AIMO). Dit werk biedt de gemeenschap een beproefd blauwdruk voor het ontwikkelen van state-of-the-art wiskundige redeneerders die zowel uitzonderlijk nauwkeurig als praktisch efficiënt zijn. Om volledige reproduceerbaarheid te garanderen en toekomstig onderzoek te ondersteunen, zullen we ons volledige framework open source maken, inclusief alle code, modelcheckpoints en trainingsconfiguraties op https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.
English
Enhancing the mathematical reasoning of Large Language Models (LLMs) is a
pivotal challenge in advancing AI capabilities. While Supervised Fine-Tuning
(SFT) and Reinforcement Learning (RL) are the dominant training paradigms, a
systematic methodology for combining them to maximize both accuracy and
efficiency remains largely unexplored. This paper introduces a practical and
effective training recipe that strategically integrates extended SFT with RL
from online inference (GRPO). We posit that these methods play complementary,
not competing, roles: a prolonged SFT phase first pushes the model's accuracy
to its limits, after which a GRPO phase dramatically improves token efficiency
while preserving this peak performance. Our experiments reveal that extending
SFT for as many as 10 epochs is crucial for performance breakthroughs, and that
the primary role of GRPO in this framework is to optimize solution length. The
efficacy of our recipe is rigorously validated through top-tier performance on
challenging benchmarks, including a high rank among over 2,200 teams in the
strictly leak-free AI Mathematical Olympiad (AIMO). This work provides the
community with a battle-tested blueprint for developing state-of-the-art
mathematical reasoners that are both exceptionally accurate and practically
efficient. To ensure full reproducibility and empower future research, we will
open-source our entire framework, including all code, model checkpoints, and
training configurations at
https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.