Обучайся долго, думай быстро: Постепенное обучение для эффективного рассуждения

Аннотация

Недавние исследования, направленные на улучшение способности крупных языковых моделей (LLM) к рассуждению, предложили использование явного контроля длины как способ ограничения вычислительных затрат при сохранении точности. Однако существующие подходы опираются на фиксированные бюджеты длины при обучении, что не учитывает естественный переход от исследования к сжатию в процессе обучения. В данной работе мы предлагаем стратегию обучения по учебному плану для контроля длины рассуждений с использованием оптимизации групповой относительной политики (Group Relative Policy Optimization, GRPO). Наш метод начинается с щедрых бюджетов токенов и постепенно ужесточает их в процессе обучения, побуждая модели сначала находить эффективные стратегии решения, а затем сжимать их в более лаконичные цепочки рассуждений. Мы дополняем GRPO функцией вознаграждения, которая балансирует три сигнала: правильность выполнения задачи (через обратную связь от верификатора), эффективность длины и соблюдение формата (через структурные теги). Эксперименты на наборах данных GSM8K, MATH500, SVAMP, College Math и GSM+ показывают, что обучение по учебному плану стабильно превосходит базовые методы с фиксированным бюджетом при одинаковом итоговом бюджете, достигая более высокой точности и значительно улучшенной эффективности использования токенов. Мы также анализируем влияние весов вознаграждения и дизайна графика снижения, демонстрируя, что прогрессивное ограничение служит мощной индуктивной предпосылкой для обучения эффективных моделей рассуждений. Наш код и контрольные точки доступны по адресу: https://github.com/hammoudhasan/curriculum_grpo.

English

Recent work on enhancing the reasoning abilities of large language models (LLMs) has introduced explicit length control as a means of constraining computational cost while preserving accuracy. However, existing approaches rely on fixed-length training budgets, which do not take advantage of the natural progression from exploration to compression during learning. In this work, we propose a curriculum learning strategy for length-controlled reasoning using Group Relative Policy Optimization (GRPO). Our method starts with generous token budgets and gradually tightens them over training, encouraging models to first discover effective solution strategies and then distill them into more concise reasoning traces. We augment GRPO with a reward function that balances three signals: task correctness (via verifier feedback), length efficiency, and formatting adherence (via structural tags). Experiments on GSM8K, MATH500, SVAMP, College Math, and GSM+ demonstrate that curriculum-based training consistently outperforms fixed-budget baselines at the same final budget, achieving higher accuracy and significantly improved token efficiency. We further ablate the impact of reward weighting and decay schedule design, showing that progressive constraint serves as a powerful inductive bias for training efficient reasoning models. Our code and checkpoints are released at: https://github.com/hammoudhasan/curriculum_grpo.

Обучайся долго, думай быстро: Постепенное обучение для эффективного рассуждения

Train Long, Think Short: Curriculum Learning for Efficient Reasoning

Аннотация

Support