FastCuRL : Apprentissage par Renforcement avec Curriculum et Extension Progressive du Contexte pour un Entraînement Efficace des Modèles de Raisonnement de Type R1

FastCuRL: Curriculum Reinforcement Learning with Progressive Context Extension for Efficient Training R1-like Reasoning Models

March 21, 2025

Auteurs: Mingyang Song, Mao Zheng, Zheng Li, Wenjie Yang, Xuan Luo, Yue Pan, Feng Zhang

cs.AI

Résumé

Dans cet article, nous proposons \textsc{FastCuRL}, une approche simple mais efficace d'apprentissage par renforcement curriculaire avec une stratégie d'extension de fenêtre contextuelle pour accélérer l'efficacité de l'entraînement en apprentissage par renforcement des modèles de raisonnement de type R1, tout en améliorant leurs performances dans la résolution de tâches de raisonnement complexes nécessitant des chaînes de pensée longues, en particulier avec un modèle de langage de 1,5 milliard de paramètres. \textsc{FastCuRL} se compose de deux procédures principales : la segmentation des données d'entraînement en fonction de la longueur et l'entraînement avec extension de la fenêtre contextuelle. Plus précisément, la première étape consiste à diviser les données d'entraînement originales en trois niveaux différents selon la longueur des invites d'entrée, puis la seconde exploite des ensembles de données segmentés avec une longueur de fenêtre contextuelle progressivement croissante pour entraîner le modèle de raisonnement. Les résultats expérimentaux montrent que \textsc{FastCuRL}-1.5B-Preview surpasse DeepScaleR-1.5B-Preview sur les cinq jeux de données (incluant MATH 500, AIME 2024, AMC 2023, Minerva Math et OlympiadBench) tout en utilisant seulement 50\% des étapes d'entraînement. De plus, toutes les phases d'entraînement pour FastCuRL-1.5B-Preview sont réalisées avec un seul nœud équipé de 8 GPU.

English

In this paper, we propose \textsc{FastCuRL}, a simple yet efficient Curriculum Reinforcement Learning approach with context window extending strategy to accelerate the reinforcement learning training efficiency for R1-like reasoning models while enhancing their performance in tackling complex reasoning tasks with long chain-of-thought rationales, particularly with a 1.5B parameter language model. \textsc{FastCuRL} consists of two main procedures: length-aware training data segmentation and context window extension training. Specifically, the former first splits the original training data into three different levels by the input prompt length, and then the latter leverages segmented training datasets with a progressively increasing context window length to train the reasoning model. Experimental results demonstrate that \textsc{FastCuRL}-1.5B-Preview surpasses DeepScaleR-1.5B-Preview across all five datasets (including MATH 500, AIME 2024, AMC 2023, Minerva Math, and OlympiadBench) while only utilizing 50\% of training steps. Furthermore, all training stages for FastCuRL-1.5B-Preview are completed using just a single node with 8 GPUs.