Una Receta Práctica de Dos Etapas para Modelos de Lenguaje Matemático: Maximizando la Precisión con Ajuste Superficial y la Eficiencia con Aprendizaje por Refuerzo

A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning

July 11, 2025

Autores: Hiroshi Yoshihara, Taiki Yamaguchi, Yuichi Inoue

cs.AI

Resumen

Mejorar el razonamiento matemático de los Modelos de Lenguaje de Gran Escala (LLMs) es un desafío crucial para avanzar en las capacidades de la IA. Si bien el Ajuste Supervisado (SFT) y el Aprendizaje por Refuerzo (RL) son los paradigmas de entrenamiento dominantes, una metodología sistemática para combinarlos y maximizar tanto la precisión como la eficiencia sigue siendo en gran medida inexplorada. Este artículo introduce una receta de entrenamiento práctica y efectiva que integra estratégicamente un SFT extendido con RL a partir de inferencia en línea (GRPO). Postulamos que estos métodos desempeñan roles complementarios, no competitivos: una fase prolongada de SFT primero lleva la precisión del modelo a sus límites, después de lo cual una fase de GRPO mejora drásticamente la eficiencia en el uso de tokens mientras preserva este rendimiento máximo. Nuestros experimentos revelan que extender el SFT hasta 10 épocas es crucial para lograr avances significativos en el rendimiento, y que el papel principal del GRPO en este marco es optimizar la longitud de las soluciones. La eficacia de nuestra receta se valida rigurosamente a través de un rendimiento de primer nivel en benchmarks desafiantes, incluyendo una alta clasificación entre más de 2,200 equipos en la estrictamente libre de fugas Olimpiada Matemática de IA (AIMO). Este trabajo proporciona a la comunidad un plan probado en batalla para desarrollar razonadores matemáticos de vanguardia que sean excepcionalmente precisos y prácticamente eficientes. Para garantizar la completa reproducibilidad y empoderar futuras investigaciones, liberaremos todo nuestro marco de trabajo, incluyendo todo el código, puntos de control del modelo y configuraciones de entrenamiento en https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.

English

Enhancing the mathematical reasoning of Large Language Models (LLMs) is a pivotal challenge in advancing AI capabilities. While Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) are the dominant training paradigms, a systematic methodology for combining them to maximize both accuracy and efficiency remains largely unexplored. This paper introduces a practical and effective training recipe that strategically integrates extended SFT with RL from online inference (GRPO). We posit that these methods play complementary, not competing, roles: a prolonged SFT phase first pushes the model's accuracy to its limits, after which a GRPO phase dramatically improves token efficiency while preserving this peak performance. Our experiments reveal that extending SFT for as many as 10 epochs is crucial for performance breakthroughs, and that the primary role of GRPO in this framework is to optimize solution length. The efficacy of our recipe is rigorously validated through top-tier performance on challenging benchmarks, including a high rank among over 2,200 teams in the strictly leak-free AI Mathematical Olympiad (AIMO). This work provides the community with a battle-tested blueprint for developing state-of-the-art mathematical reasoners that are both exceptionally accurate and practically efficient. To ensure full reproducibility and empower future research, we will open-source our entire framework, including all code, model checkpoints, and training configurations at https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.