ChatPaper.aiChatPaper

Entrena largo, piensa corto: Aprendizaje curricular para un razonamiento eficiente

Train Long, Think Short: Curriculum Learning for Efficient Reasoning

August 12, 2025
Autores: Hasan Abed Al Kader Hammoud, Kumail Alhamoud, Abed Hammoud, Elie Bou-Zeid, Marzyeh Ghassemi, Bernard Ghanem
cs.AI

Resumen

Trabajos recientes sobre la mejora de las capacidades de razonamiento de los modelos de lenguaje de gran escala (LLMs) han introducido el control explícito de longitud como un medio para limitar el costo computacional mientras se preserva la precisión. Sin embargo, los enfoques existentes dependen de presupuestos de entrenamiento de longitud fija, que no aprovechan la progresión natural desde la exploración hasta la compresión durante el aprendizaje. En este trabajo, proponemos una estrategia de aprendizaje curricular para el razonamiento controlado por longitud utilizando Optimización de Política Relativa de Grupo (GRPO). Nuestro método comienza con presupuestos de tokens generosos y los reduce gradualmente durante el entrenamiento, incentivando a los modelos a descubrir primero estrategias de solución efectivas y luego destilarlas en trazas de razonamiento más concisas. Aumentamos GRPO con una función de recompensa que equilibra tres señales: corrección de la tarea (mediante retroalimentación del verificador), eficiencia de longitud y adherencia al formato (mediante etiquetas estructurales). Los experimentos en GSM8K, MATH500, SVAMP, College Math y GSM+ demuestran que el entrenamiento basado en currículo supera consistentemente a las líneas base de presupuesto fijo con el mismo presupuesto final, logrando mayor precisión y una eficiencia de tokens significativamente mejorada. Además, analizamos el impacto del peso de la recompensa y el diseño del esquema de decaimiento, mostrando que la restricción progresiva sirve como un poderoso sesgo inductivo para entrenar modelos de razonamiento eficientes. Nuestro código y puntos de control se publican en: https://github.com/hammoudhasan/curriculum_grpo.
English
Recent work on enhancing the reasoning abilities of large language models (LLMs) has introduced explicit length control as a means of constraining computational cost while preserving accuracy. However, existing approaches rely on fixed-length training budgets, which do not take advantage of the natural progression from exploration to compression during learning. In this work, we propose a curriculum learning strategy for length-controlled reasoning using Group Relative Policy Optimization (GRPO). Our method starts with generous token budgets and gradually tightens them over training, encouraging models to first discover effective solution strategies and then distill them into more concise reasoning traces. We augment GRPO with a reward function that balances three signals: task correctness (via verifier feedback), length efficiency, and formatting adherence (via structural tags). Experiments on GSM8K, MATH500, SVAMP, College Math, and GSM+ demonstrate that curriculum-based training consistently outperforms fixed-budget baselines at the same final budget, achieving higher accuracy and significantly improved token efficiency. We further ablate the impact of reward weighting and decay schedule design, showing that progressive constraint serves as a powerful inductive bias for training efficient reasoning models. Our code and checkpoints are released at: https://github.com/hammoudhasan/curriculum_grpo.
PDF162August 13, 2025