Allenamento Lungo, Pensiero Breve: Apprendimento Curriculare per un Ragionamento Efficiente

Train Long, Think Short: Curriculum Learning for Efficient Reasoning

August 12, 2025

Autori: Hasan Abed Al Kader Hammoud, Kumail Alhamoud, Abed Hammoud, Elie Bou-Zeid, Marzyeh Ghassemi, Bernard Ghanem

cs.AI

Abstract

I recenti lavori sul potenziamento delle capacità di ragionamento dei grandi modelli linguistici (LLM) hanno introdotto il controllo esplicito della lunghezza come mezzo per limitare i costi computazionali preservando l'accuratezza. Tuttavia, gli approcci esistenti si basano su budget di addestramento a lunghezza fissa, che non sfruttano la progressione naturale dall'esplorazione alla compressione durante l'apprendimento. In questo lavoro, proponiamo una strategia di apprendimento curriculare per il ragionamento con controllo della lunghezza utilizzando l'ottimizzazione delle politiche relative ai gruppi (GRPO). Il nostro metodo inizia con budget di token generosi e li riduce gradualmente durante l'addestramento, incoraggiando i modelli a scoprire prima strategie di soluzione efficaci e poi a distillarle in tracce di ragionamento più concise. Aumentiamo il GRPO con una funzione di ricompensa che bilancia tre segnali: correttezza del compito (tramite feedback del verificatore), efficienza della lunghezza e aderenza alla formattazione (tramite tag strutturali). Gli esperimenti su GSM8K, MATH500, SVAMP, College Math e GSM+ dimostrano che l'addestramento basato su curriculum supera costantemente le baseline a budget fisso con lo stesso budget finale, raggiungendo una maggiore accuratezza e una significativa migliorata efficienza dei token. Analizziamo ulteriormente l'impatto della ponderazione delle ricompense e del design del programma di decadimento, mostrando che il vincolo progressivo funge da potente bias induttivo per l'addestramento di modelli di ragionamento efficienti. Il nostro codice e i checkpoint sono rilasciati su: https://github.com/hammoudhasan/curriculum_grpo.

English

Recent work on enhancing the reasoning abilities of large language models (LLMs) has introduced explicit length control as a means of constraining computational cost while preserving accuracy. However, existing approaches rely on fixed-length training budgets, which do not take advantage of the natural progression from exploration to compression during learning. In this work, we propose a curriculum learning strategy for length-controlled reasoning using Group Relative Policy Optimization (GRPO). Our method starts with generous token budgets and gradually tightens them over training, encouraging models to first discover effective solution strategies and then distill them into more concise reasoning traces. We augment GRPO with a reward function that balances three signals: task correctness (via verifier feedback), length efficiency, and formatting adherence (via structural tags). Experiments on GSM8K, MATH500, SVAMP, College Math, and GSM+ demonstrate that curriculum-based training consistently outperforms fixed-budget baselines at the same final budget, achieving higher accuracy and significantly improved token efficiency. We further ablate the impact of reward weighting and decay schedule design, showing that progressive constraint serves as a powerful inductive bias for training efficient reasoning models. Our code and checkpoints are released at: https://github.com/hammoudhasan/curriculum_grpo.