FastCuRL: Обучение с подкреплением на основе учебного плана с прогрессивным расширением контекста для эффективного обучения моделей рассуждений, подобных R1

FastCuRL: Curriculum Reinforcement Learning with Progressive Context Extension for Efficient Training R1-like Reasoning Models

March 21, 2025

Авторы: Mingyang Song, Mao Zheng, Zheng Li, Wenjie Yang, Xuan Luo, Yue Pan, Feng Zhang

cs.AI

Аннотация

В данной статье мы представляем \textsc{FastCuRL} — простой, но эффективный подход к обучению с подкреплением на основе учебного плана (Curriculum Reinforcement Learning) с использованием стратегии расширения контекстного окна для ускорения эффективности обучения моделей, подобных R1, в задачах сложного рассуждения с длинными цепочками мыслей, особенно для языковой модели с 1,5 миллиардами параметров. \textsc{FastCuRL} состоит из двух основных процедур: сегментации обучающих данных с учетом длины и обучения с расширением контекстного окна. В частности, первая процедура сначала разделяет исходные обучающие данные на три уровня в зависимости от длины входного промта, а затем вторая процедура использует сегментированные наборы данных с постепенно увеличивающейся длиной контекстного окна для обучения модели рассуждений. Экспериментальные результаты показывают, что \textsc{FastCuRL}-1.5B-Preview превосходит DeepScaleR-1.5B-Preview на всех пяти наборах данных (включая MATH 500, AIME 2024, AMC 2023, Minerva Math и OlympiadBench), используя при этом только 50\% шагов обучения. Более того, все этапы обучения для FastCuRL-1.5B-Preview выполняются на одном узле с 8 графическими процессорами.

English

In this paper, we propose \textsc{FastCuRL}, a simple yet efficient Curriculum Reinforcement Learning approach with context window extending strategy to accelerate the reinforcement learning training efficiency for R1-like reasoning models while enhancing their performance in tackling complex reasoning tasks with long chain-of-thought rationales, particularly with a 1.5B parameter language model. \textsc{FastCuRL} consists of two main procedures: length-aware training data segmentation and context window extension training. Specifically, the former first splits the original training data into three different levels by the input prompt length, and then the latter leverages segmented training datasets with a progressively increasing context window length to train the reasoning model. Experimental results demonstrate that \textsc{FastCuRL}-1.5B-Preview surpasses DeepScaleR-1.5B-Preview across all five datasets (including MATH 500, AIME 2024, AMC 2023, Minerva Math, and OlympiadBench) while only utilizing 50\% of training steps. Furthermore, all training stages for FastCuRL-1.5B-Preview are completed using just a single node with 8 GPUs.