Treine Longo, Pense Curto: Aprendizado por Currículo para Raciocínio Eficiente

Train Long, Think Short: Curriculum Learning for Efficient Reasoning

August 12, 2025

Autores: Hasan Abed Al Kader Hammoud, Kumail Alhamoud, Abed Hammoud, Elie Bou-Zeid, Marzyeh Ghassemi, Bernard Ghanem

cs.AI

Resumo

Trabalhos recentes sobre a melhoria das habilidades de raciocínio de modelos de linguagem de grande escala (LLMs) introduziram o controle explícito de comprimento como uma forma de limitar o custo computacional enquanto mantém a precisão. No entanto, as abordagens existentes dependem de orçamentos de treinamento de comprimento fixo, que não aproveitam a progressão natural da exploração para a compressão durante o aprendizado. Neste trabalho, propomos uma estratégia de aprendizado curricular para raciocínio controlado por comprimento usando Otimização de Política Relativa de Grupo (GRPO). Nosso método começa com orçamentos generosos de tokens e gradualmente os reduz ao longo do treinamento, incentivando os modelos a primeiro descobrir estratégias de solução eficazes e depois destilá-las em traços de raciocínio mais concisos. Aumentamos o GRPO com uma função de recompensa que equilibra três sinais: correção da tarefa (via feedback do verificador), eficiência de comprimento e aderência à formatação (via tags estruturais). Experimentos no GSM8K, MATH500, SVAMP, College Math e GSM+ demonstram que o treinamento baseado em currículo supera consistentemente as linhas de base de orçamento fixo no mesmo orçamento final, alcançando maior precisão e eficiência de tokens significativamente melhorada. Além disso, avaliamos o impacto da ponderação de recompensa e do design do cronograma de decaimento, mostrando que a restrição progressiva serve como um poderoso viés indutivo para treinar modelos de raciocínio eficientes. Nosso código e checkpoints são disponibilizados em: https://github.com/hammoudhasan/curriculum_grpo.

English

Recent work on enhancing the reasoning abilities of large language models (LLMs) has introduced explicit length control as a means of constraining computational cost while preserving accuracy. However, existing approaches rely on fixed-length training budgets, which do not take advantage of the natural progression from exploration to compression during learning. In this work, we propose a curriculum learning strategy for length-controlled reasoning using Group Relative Policy Optimization (GRPO). Our method starts with generous token budgets and gradually tightens them over training, encouraging models to first discover effective solution strategies and then distill them into more concise reasoning traces. We augment GRPO with a reward function that balances three signals: task correctness (via verifier feedback), length efficiency, and formatting adherence (via structural tags). Experiments on GSM8K, MATH500, SVAMP, College Math, and GSM+ demonstrate that curriculum-based training consistently outperforms fixed-budget baselines at the same final budget, achieving higher accuracy and significantly improved token efficiency. We further ablate the impact of reward weighting and decay schedule design, showing that progressive constraint serves as a powerful inductive bias for training efficient reasoning models. Our code and checkpoints are released at: https://github.com/hammoudhasan/curriculum_grpo.