Une Recette Pratique en Deux Étapes pour les LLMs Mathématiques : Maximiser la Précision avec l'Apprentissage Supervisé Fin et l'Efficacité avec l'Apprentissage par Renforcement
A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning
July 11, 2025
papers.authors: Hiroshi Yoshihara, Taiki Yamaguchi, Yuichi Inoue
cs.AI
papers.abstract
Améliorer le raisonnement mathématique des modèles de langage de grande taille (LLMs) constitue un défi crucial pour faire progresser les capacités de l'IA. Bien que le réglage fin supervisé (SFT) et l'apprentissage par renforcement (RL) soient les paradigmes d'entraînement dominants, une méthodologie systématique pour les combiner afin de maximiser à la fois la précision et l'efficacité reste largement inexplorée. Cet article présente une recette d'entraînement pratique et efficace qui intègre stratégiquement un SFT prolongé avec un RL basé sur l'inférence en ligne (GRPO). Nous postulons que ces méthodes jouent des rôles complémentaires, et non concurrents : une phase prolongée de SFT pousse d'abord la précision du modèle à ses limites, après quoi une phase de GRPO améliore considérablement l'efficacité des tokens tout en préservant cette performance maximale. Nos expériences révèlent qu'étendre le SFT jusqu'à 10 époques est crucial pour des percées en matière de performance, et que le rôle principal du GRPO dans ce cadre est d'optimiser la longueur des solutions. L'efficacité de notre recette est rigoureusement validée par des performances de premier plan sur des benchmarks exigeants, notamment un classement élevé parmi plus de 2 200 équipes dans l'Olympiade Mathématique d'IA (AIMO) strictement sans fuite. Ce travail fournit à la communauté un plan éprouvé pour développer des raisonneurs mathématiques de pointe à la fois exceptionnellement précis et pratiquement efficaces. Pour garantir une reproductibilité totale et favoriser les recherches futures, nous mettrons en open source l'intégralité de notre cadre, y compris tout le code, les points de contrôle des modèles et les configurations d'entraînement sur https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.
English
Enhancing the mathematical reasoning of Large Language Models (LLMs) is a
pivotal challenge in advancing AI capabilities. While Supervised Fine-Tuning
(SFT) and Reinforcement Learning (RL) are the dominant training paradigms, a
systematic methodology for combining them to maximize both accuracy and
efficiency remains largely unexplored. This paper introduces a practical and
effective training recipe that strategically integrates extended SFT with RL
from online inference (GRPO). We posit that these methods play complementary,
not competing, roles: a prolonged SFT phase first pushes the model's accuracy
to its limits, after which a GRPO phase dramatically improves token efficiency
while preserving this peak performance. Our experiments reveal that extending
SFT for as many as 10 epochs is crucial for performance breakthroughs, and that
the primary role of GRPO in this framework is to optimize solution length. The
efficacy of our recipe is rigorously validated through top-tier performance on
challenging benchmarks, including a high rank among over 2,200 teams in the
strictly leak-free AI Mathematical Olympiad (AIMO). This work provides the
community with a battle-tested blueprint for developing state-of-the-art
mathematical reasoners that are both exceptionally accurate and practically
efficient. To ensure full reproducibility and empower future research, we will
open-source our entire framework, including all code, model checkpoints, and
training configurations at
https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.