FastCuRL: 効率的な訓練のための段階的コンテキスト拡張を伴うカリキュラム強化学習 - R1ライクな推論モデル向け

FastCuRL: Curriculum Reinforcement Learning with Progressive Context Extension for Efficient Training R1-like Reasoning Models

March 21, 2025

著者: Mingyang Song, Mao Zheng, Zheng Li, Wenjie Yang, Xuan Luo, Yue Pan, Feng Zhang

cs.AI

要旨

本論文では、\textsc{FastCuRL}を提案する。これは、R1のような推論モデルの強化学習トレーニング効率を加速しつつ、長い連鎖思考（chain-of-thought）を要する複雑な推論タスクにおける性能を向上させる、シンプルかつ効率的なカリキュラム強化学習アプローチである。特に、1.5Bパラメータの言語モデルにおいて有効である。\textsc{FastCuRL}は、主に2つの手順から構成される：長さを考慮したトレーニングデータの分割と、コンテキストウィンドウ拡張トレーニングである。具体的には、前者はまず入力プロンプトの長さに基づいて元のトレーニングデータを3つの異なるレベルに分割し、後者は分割されたトレーニングデータセットを利用して、徐々にコンテキストウィンドウの長さを増やしながら推論モデルをトレーニングする。実験結果から、\textsc{FastCuRL}-1.5B-Previewは、DeepScaleR-1.5B-Previewを全ての5つのデータセット（MATH 500、AIME 2024、AMC 2023、Minerva Math、OlympiadBenchを含む）において上回り、しかもトレーニングステップ数を50％しか使用しないことが示された。さらに、FastCuRL-1.5B-Previewの全てのトレーニング段階は、8つのGPUを搭載した単一のノードで完了している。

English

In this paper, we propose \textsc{FastCuRL}, a simple yet efficient Curriculum Reinforcement Learning approach with context window extending strategy to accelerate the reinforcement learning training efficiency for R1-like reasoning models while enhancing their performance in tackling complex reasoning tasks with long chain-of-thought rationales, particularly with a 1.5B parameter language model. \textsc{FastCuRL} consists of two main procedures: length-aware training data segmentation and context window extension training. Specifically, the former first splits the original training data into three different levels by the input prompt length, and then the latter leverages segmented training datasets with a progressively increasing context window length to train the reasoning model. Experimental results demonstrate that \textsc{FastCuRL}-1.5B-Preview surpasses DeepScaleR-1.5B-Preview across all five datasets (including MATH 500, AIME 2024, AMC 2023, Minerva Math, and OlympiadBench) while only utilizing 50\% of training steps. Furthermore, all training stages for FastCuRL-1.5B-Preview are completed using just a single node with 8 GPUs.