Эффективная донастройка с подкреплением через адаптивное обучение по учебному плану

Efficient Reinforcement Finetuning via Adaptive Curriculum Learning

April 7, 2025

Авторы: Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

cs.AI

Аннотация

Тонкая настройка с подкреплением (Reinforcement Finetuning, RFT) продемонстрировала значительный потенциал для улучшения математических способностей крупных языковых моделей (LLM), однако она часто требует больших вычислительных ресурсов и объемов данных, что делает процесс обучения длительным. В данной работе мы представляем AdaRFT (Adaptive Curriculum Reinforcement Finetuning) — метод, который значительно повышает как эффективность, так и итоговую точность RFT за счет адаптивного обучения по учебному плану. AdaRFT динамически регулирует сложность тренировочных задач на основе недавних сигналов вознаграждения модели, обеспечивая, что модель постоянно обучается на задачах, которые являются сложными, но решаемыми. Эта адаптивная стратегия выборки ускоряет обучение, поддерживая оптимальный диапазон сложности, избегая бесполезных вычислений на слишком простых или слишком сложных задачах. AdaRFT требует лишь легкого расширения стандартных алгоритмов RFT, таких как Proximal Policy Optimization (PPO), без изменения функции вознаграждения или архитектуры модели. Эксперименты на наборах данных математических задач уровня соревнований, включая AMC, AIME и задачи в стиле IMO, показывают, что AdaRFT значительно улучшает как эффективность обучения, так и качество рассуждений. Мы оцениваем AdaRFT на различных распределениях данных и размерах моделей, демонстрируя, что он сокращает количество шагов обучения до 2 раз и существенно повышает точность, предлагая более масштабируемую и эффективную структуру RFT.

English

Reinforcement finetuning (RFT) has shown great potential for enhancing the mathematical reasoning capabilities of large language models (LLMs), but it is often sample- and compute-inefficient, requiring extensive training. In this work, we introduce AdaRFT (Adaptive Curriculum Reinforcement Finetuning), a method that significantly improves both the efficiency and final accuracy of RFT through adaptive curriculum learning. AdaRFT dynamically adjusts the difficulty of training problems based on the model's recent reward signals, ensuring that the model consistently trains on tasks that are challenging but solvable. This adaptive sampling strategy accelerates learning by maintaining an optimal difficulty range, avoiding wasted computation on problems that are too easy or too hard. AdaRFT requires only a lightweight extension to standard RFT algorithms like Proximal Policy Optimization (PPO), without modifying the reward function or model architecture. Experiments on competition-level math datasets-including AMC, AIME, and IMO-style problems-demonstrate that AdaRFT significantly improves both training efficiency and reasoning performance. We evaluate AdaRFT across multiple data distributions and model sizes, showing that it reduces the number of training steps by up to 2x and improves accuracy by a considerable margin, offering a more scalable and effective RFT framework.