FastCuRL: Curriculum Reinforcement Learning met Progressieve Contextuitbreiding voor Efficiënte Training van R1-achtige Redeneermodellen

FastCuRL: Curriculum Reinforcement Learning with Progressive Context Extension for Efficient Training R1-like Reasoning Models

March 21, 2025

Auteurs: Mingyang Song, Mao Zheng, Zheng Li, Wenjie Yang, Xuan Luo, Yue Pan, Feng Zhang

cs.AI

Samenvatting

In dit artikel introduceren we \textsc{FastCuRL}, een eenvoudige maar efficiënte aanpak voor Curriculum Reinforcement Learning met een strategie voor het uitbreiden van het contextvenster om de trainings efficiëntie van R1-achtige redeneermodellen te versnellen, terwijl hun prestaties bij complexe redeneertaken met lange ketens van gedachten worden verbeterd, met name bij een taalmodel met 1,5B parameters. \textsc{FastCuRL} bestaat uit twee hoofdprocedures: lengtebewuste segmentatie van trainingsdata en training met uitbreiding van het contextvenster. Specifiek splitst de eerste procedure de originele trainingsdata in drie verschillende niveaus op basis van de lengte van de invoerprompt, waarna de tweede procedure gebruikmaakt van gesegmenteerde trainingsdatasets met een geleidelijk toenemende contextvensterlengte om het redeneermodel te trainen. Experimentele resultaten tonen aan dat \textsc{FastCuRL}-1.5B-Preview DeepScaleR-1.5B-Preview overtreft op alle vijf datasets (inclusief MATH 500, AIME 2024, AMC 2023, Minerva Math en OlympiadBench) terwijl slechts 50\% van de trainingsstappen wordt gebruikt. Bovendien worden alle trainingsfasen voor FastCuRL-1.5B-Preview voltooid met slechts één node met 8 GPU's.

English

In this paper, we propose \textsc{FastCuRL}, a simple yet efficient Curriculum Reinforcement Learning approach with context window extending strategy to accelerate the reinforcement learning training efficiency for R1-like reasoning models while enhancing their performance in tackling complex reasoning tasks with long chain-of-thought rationales, particularly with a 1.5B parameter language model. \textsc{FastCuRL} consists of two main procedures: length-aware training data segmentation and context window extension training. Specifically, the former first splits the original training data into three different levels by the input prompt length, and then the latter leverages segmented training datasets with a progressively increasing context window length to train the reasoning model. Experimental results demonstrate that \textsc{FastCuRL}-1.5B-Preview surpasses DeepScaleR-1.5B-Preview across all five datasets (including MATH 500, AIME 2024, AMC 2023, Minerva Math, and OlympiadBench) while only utilizing 50\% of training steps. Furthermore, all training stages for FastCuRL-1.5B-Preview are completed using just a single node with 8 GPUs.