Uma Receita Prática em Duas Etapas para LLMs Matemáticos: Maximizando Precisão com Aprendizado Supervisionado (SFT) e Eficiência com Aprendizado por Reforço

A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning

July 11, 2025

Autores: Hiroshi Yoshihara, Taiki Yamaguchi, Yuichi Inoue

cs.AI

Resumo

Aprimorar o raciocínio matemático de Modelos de Linguagem de Grande Escala (LLMs) é um desafio crucial para o avanço das capacidades da IA. Embora o Ajuste Fino Supervisionado (SFT) e o Aprendizado por Reforço (RL) sejam os paradigmas de treinamento dominantes, uma metodologia sistemática para combiná-los a fim de maximizar tanto a precisão quanto a eficiência permanece amplamente inexplorada. Este artigo introduz uma receita de treinamento prática e eficaz que integra estrategicamente o SFT estendido com o RL a partir de inferência online (GRPO). Postulamos que esses métodos desempenham papéis complementares, e não concorrentes: uma fase prolongada de SFT primeiro eleva a precisão do modelo ao seu limite, após o que uma fase de GRPO melhora drasticamente a eficiência de tokens enquanto preserva esse desempenho máximo. Nossos experimentos revelam que estender o SFT por até 10 épocas é crucial para avanços de desempenho, e que o papel principal do GRPO nesse framework é otimizar o comprimento da solução. A eficácia de nossa receita é rigorosamente validada por meio de desempenho de alto nível em benchmarks desafiadores, incluindo uma classificação elevada entre mais de 2.200 equipes na Olimpíada de Matemática de IA (AIMO), estritamente livre de vazamentos. Este trabalho fornece à comunidade um plano testado em batalha para desenvolver raciocinadores matemáticos de ponta que são excepcionalmente precisos e praticamente eficientes. Para garantir total reprodutibilidade e capacitar pesquisas futuras, disponibilizaremos nosso framework completo em código aberto, incluindo todo o código, checkpoints de modelo e configurações de treinamento em https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.

English

Enhancing the mathematical reasoning of Large Language Models (LLMs) is a pivotal challenge in advancing AI capabilities. While Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) are the dominant training paradigms, a systematic methodology for combining them to maximize both accuracy and efficiency remains largely unexplored. This paper introduces a practical and effective training recipe that strategically integrates extended SFT with RL from online inference (GRPO). We posit that these methods play complementary, not competing, roles: a prolonged SFT phase first pushes the model's accuracy to its limits, after which a GRPO phase dramatically improves token efficiency while preserving this peak performance. Our experiments reveal that extending SFT for as many as 10 epochs is crucial for performance breakthroughs, and that the primary role of GRPO in this framework is to optimize solution length. The efficacy of our recipe is rigorously validated through top-tier performance on challenging benchmarks, including a high rank among over 2,200 teams in the strictly leak-free AI Mathematical Olympiad (AIMO). This work provides the community with a battle-tested blueprint for developing state-of-the-art mathematical reasoners that are both exceptionally accurate and practically efficient. To ensure full reproducibility and empower future research, we will open-source our entire framework, including all code, model checkpoints, and training configurations at https://github.com/analokmaus/kaggle-aimo2-fast-math-r1.