FastCuRL: Apprendimento per Rinforzo con Curriculum ed Estensione Progressiva del Contesto per un Addestramento Efficiente di Modelli di Ragionamento Simili a R1

FastCuRL: Curriculum Reinforcement Learning with Progressive Context Extension for Efficient Training R1-like Reasoning Models

March 21, 2025

Autori: Mingyang Song, Mao Zheng, Zheng Li, Wenjie Yang, Xuan Luo, Yue Pan, Feng Zhang

cs.AI

Abstract

In questo articolo, proponiamo \textsc{FastCuRL}, un approccio semplice ma efficiente di Curriculum Reinforcement Learning con una strategia di estensione della finestra contestuale per accelerare l'efficienza dell'addestramento nel reinforcement learning per modelli di ragionamento di tipo R1, migliorando al contempo le loro prestazioni nell'affrontare compiti di ragionamento complessi con lunghe catene di pensiero, in particolare con un modello linguistico da 1,5 miliardi di parametri. \textsc{FastCuRL} consiste in due procedure principali: segmentazione dei dati di addestramento basata sulla lunghezza e addestramento con estensione della finestra contestuale. Nello specifico, la prima suddivide i dati di addestramento originali in tre livelli diversi in base alla lunghezza del prompt di input, mentre la seconda utilizza i dataset segmentati con una lunghezza progressivamente crescente della finestra contestuale per addestrare il modello di ragionamento. I risultati sperimentali dimostrano che \textsc{FastCuRL}-1.5B-Preview supera DeepScaleR-1.5B-Preview su tutti e cinque i dataset (inclusi MATH 500, AIME 2024, AMC 2023, Minerva Math e OlympiadBench) utilizzando solo il 50\% dei passi di addestramento. Inoltre, tutte le fasi di addestramento per FastCuRL-1.5B-Preview vengono completate utilizzando un singolo nodo con 8 GPU.

English

In this paper, we propose \textsc{FastCuRL}, a simple yet efficient Curriculum Reinforcement Learning approach with context window extending strategy to accelerate the reinforcement learning training efficiency for R1-like reasoning models while enhancing their performance in tackling complex reasoning tasks with long chain-of-thought rationales, particularly with a 1.5B parameter language model. \textsc{FastCuRL} consists of two main procedures: length-aware training data segmentation and context window extension training. Specifically, the former first splits the original training data into three different levels by the input prompt length, and then the latter leverages segmented training datasets with a progressively increasing context window length to train the reasoning model. Experimental results demonstrate that \textsc{FastCuRL}-1.5B-Preview surpasses DeepScaleR-1.5B-Preview across all five datasets (including MATH 500, AIME 2024, AMC 2023, Minerva Math, and OlympiadBench) while only utilizing 50\% of training steps. Furthermore, all training stages for FastCuRL-1.5B-Preview are completed using just a single node with 8 GPUs.