FastCuRL: Aprendizaje por Refuerzo con Currículo mediante Extensión Progresiva de Contexto para el Entrenamiento Eficiente de Modelos de Razonamiento Tipo R1

FastCuRL: Curriculum Reinforcement Learning with Progressive Context Extension for Efficient Training R1-like Reasoning Models

March 21, 2025

Autores: Mingyang Song, Mao Zheng, Zheng Li, Wenjie Yang, Xuan Luo, Yue Pan, Feng Zhang

cs.AI

Resumen

En este artículo, proponemos \textsc{FastCuRL}, un enfoque simple pero eficiente de Aprendizaje por Refuerzo con Currículo que utiliza una estrategia de extensión de ventana de contexto para acelerar la eficiencia del entrenamiento en modelos de razonamiento tipo R1, mejorando su rendimiento en tareas de razonamiento complejo con cadenas de pensamiento largas, particularmente con un modelo de lenguaje de 1.5B parámetros. \textsc{FastCuRL} consta de dos procedimientos principales: segmentación de datos de entrenamiento consciente de la longitud y entrenamiento con extensión de ventana de contexto. Específicamente, el primero divide los datos de entrenamiento originales en tres niveles diferentes según la longitud del prompt de entrada, y luego el segundo aprovecha conjuntos de datos segmentados con una longitud de ventana de contexto progresivamente creciente para entrenar el modelo de razonamiento. Los resultados experimentales demuestran que \textsc{FastCuRL}-1.5B-Preview supera a DeepScaleR-1.5B-Preview en los cinco conjuntos de datos evaluados (incluyendo MATH 500, AIME 2024, AMC 2023, Minerva Math y OlympiadBench) utilizando solo el 50\% de los pasos de entrenamiento. Además, todas las etapas de entrenamiento para FastCuRL-1.5B-Preview se completan utilizando un solo nodo con 8 GPUs.

English

In this paper, we propose \textsc{FastCuRL}, a simple yet efficient Curriculum Reinforcement Learning approach with context window extending strategy to accelerate the reinforcement learning training efficiency for R1-like reasoning models while enhancing their performance in tackling complex reasoning tasks with long chain-of-thought rationales, particularly with a 1.5B parameter language model. \textsc{FastCuRL} consists of two main procedures: length-aware training data segmentation and context window extension training. Specifically, the former first splits the original training data into three different levels by the input prompt length, and then the latter leverages segmented training datasets with a progressively increasing context window length to train the reasoning model. Experimental results demonstrate that \textsc{FastCuRL}-1.5B-Preview surpasses DeepScaleR-1.5B-Preview across all five datasets (including MATH 500, AIME 2024, AMC 2023, Minerva Math, and OlympiadBench) while only utilizing 50\% of training steps. Furthermore, all training stages for FastCuRL-1.5B-Preview are completed using just a single node with 8 GPUs.