Una Ricetta Pratica in Due Fasi per Modelli Linguistici Matematici: Massimizzare la Precisione con SFT e l'Efficienza con l'Apprendimento per Rinforzo
A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning
July 11, 2025
Autori: Hiroshi Yoshihara, Taiki Yamaguchi, Yuichi Inoue
cs.AI
Abstract
Migliorare il ragionamento matematico dei Large Language Model (LLM) rappresenta una sfida cruciale per avanzare le capacità dell'IA. Sebbene il Fine-Tuning Supervisionato (SFT) e l'Apprendimento per Rinforzo (RL) siano i paradigmi di addestramento dominanti, una metodologia sistematica per combinarli al fine di massimizzare sia l'accuratezza che l'efficienza rimane in gran parte inesplorata. Questo articolo introduce una ricetta di addestramento pratica ed efficace che integra strategicamente un SFT esteso con l'RL derivato dall'inferenza online (GRPO). Proponiamo che questi metodi svolgano ruoli complementari, non competitivi: una fase prolungata di SFT spinge inizialmente l'accuratezza del modello ai suoi limiti, dopodiché una fase di GRPO migliora drasticamente l'efficienza dei token preservando questa prestazione di picco. I nostri esperimenti rivelano che estendere l'SFT fino a 10 epoche è cruciale per ottenere progressi significativi nelle prestazioni, e che il ruolo principale del GRPO in questo framework è ottimizzare la lunghezza delle soluzioni. L'efficacia della nostra ricetta è rigorosamente validata attraverso prestazioni di alto livello su benchmark impegnativi, inclusa una posizione elevata tra oltre 2.200 team nell'AI Mathematical Olympiad (AIMO), rigorosamente privo di perdite di dati. Questo lavoro fornisce alla comunità una guida collaudata per sviluppare ragionatori matematici all'avanguardia che siano sia eccezionalmente accurati che praticamente efficienti. Per garantire la completa riproducibilità e favorire la ricerca futura, renderemo open-source l'intero framework, includendo tutto il codice, i checkpoint del modello e le configurazioni di addestramento su https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.
English
Enhancing the mathematical reasoning of Large Language Models (LLMs) is a
pivotal challenge in advancing AI capabilities. While Supervised Fine-Tuning
(SFT) and Reinforcement Learning (RL) are the dominant training paradigms, a
systematic methodology for combining them to maximize both accuracy and
efficiency remains largely unexplored. This paper introduces a practical and
effective training recipe that strategically integrates extended SFT with RL
from online inference (GRPO). We posit that these methods play complementary,
not competing, roles: a prolonged SFT phase first pushes the model's accuracy
to its limits, after which a GRPO phase dramatically improves token efficiency
while preserving this peak performance. Our experiments reveal that extending
SFT for as many as 10 epochs is crucial for performance breakthroughs, and that
the primary role of GRPO in this framework is to optimize solution length. The
efficacy of our recipe is rigorously validated through top-tier performance on
challenging benchmarks, including a high rank among over 2,200 teams in the
strictly leak-free AI Mathematical Olympiad (AIMO). This work provides the
community with a battle-tested blueprint for developing state-of-the-art
mathematical reasoners that are both exceptionally accurate and practically
efficient. To ensure full reproducibility and empower future research, we will
open-source our entire framework, including all code, model checkpoints, and
training configurations at
https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.