FastCuRL: Aprendizado por Reforço com Currículo e Extensão Progressiva de Contexto para Treinamento Eficiente de Modelos de Raciocínio do Tipo R1

FastCuRL: Curriculum Reinforcement Learning with Progressive Context Extension for Efficient Training R1-like Reasoning Models

March 21, 2025

Autores: Mingyang Song, Mao Zheng, Zheng Li, Wenjie Yang, Xuan Luo, Yue Pan, Feng Zhang

cs.AI

Resumo

Neste artigo, propomos o \textsc{FastCuRL}, uma abordagem simples, porém eficiente, de Aprendizado por Reforço com Currículo, utilizando uma estratégia de extensão da janela de contexto para acelerar a eficiência do treinamento de aprendizado por reforço em modelos de raciocínio semelhantes ao R1, ao mesmo tempo em que melhora seu desempenho na resolução de tarefas complexas de raciocínio com longas cadeias de pensamento, especialmente em um modelo de linguagem com 1,5 bilhão de parâmetros. O \textsc{FastCuRL} consiste em dois procedimentos principais: segmentação de dados de treinamento com consciência de comprimento e treinamento com extensão da janela de contexto. Especificamente, o primeiro divide os dados de treinamento originais em três níveis diferentes com base no comprimento do prompt de entrada, enquanto o segundo utiliza conjuntos de dados segmentados com um comprimento progressivamente maior da janela de contexto para treinar o modelo de raciocínio. Os resultados experimentais demonstram que o \textsc{FastCuRL}-1.5B-Preview supera o DeepScaleR-1.5B-Preview em todos os cinco conjuntos de dados (incluindo MATH 500, AIME 2024, AMC 2023, Minerva Math e OlympiadBench) utilizando apenas 50\% das etapas de treinamento. Além disso, todas as etapas de treinamento para o FastCuRL-1.5B-Preview são concluídas utilizando apenas um único nó com 8 GPUs.

English

In this paper, we propose \textsc{FastCuRL}, a simple yet efficient Curriculum Reinforcement Learning approach with context window extending strategy to accelerate the reinforcement learning training efficiency for R1-like reasoning models while enhancing their performance in tackling complex reasoning tasks with long chain-of-thought rationales, particularly with a 1.5B parameter language model. \textsc{FastCuRL} consists of two main procedures: length-aware training data segmentation and context window extension training. Specifically, the former first splits the original training data into three different levels by the input prompt length, and then the latter leverages segmented training datasets with a progressively increasing context window length to train the reasoning model. Experimental results demonstrate that \textsc{FastCuRL}-1.5B-Preview surpasses DeepScaleR-1.5B-Preview across all five datasets (including MATH 500, AIME 2024, AMC 2023, Minerva Math, and OlympiadBench) while only utilizing 50\% of training steps. Furthermore, all training stages for FastCuRL-1.5B-Preview are completed using just a single node with 8 GPUs.