Afinamento Eficiente de Aprendizado por Reforço via Currículo Adaptativo

Efficient Reinforcement Finetuning via Adaptive Curriculum Learning

April 7, 2025

Autores: Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

cs.AI

Resumo

O ajuste fino por reforço (RFT) tem demonstrado grande potencial para aprimorar as capacidades de raciocínio matemático de modelos de linguagem de grande escala (LLMs), mas frequentemente é ineficiente em termos de amostras e computação, exigindo treinamento extensivo. Neste trabalho, introduzimos o AdaRFT (Ajuste Fino por Reforço com Currículo Adaptativo), um método que melhora significativamente tanto a eficiência quanto a precisão final do RFT por meio de aprendizado de currículo adaptativo. O AdaRFT ajusta dinamicamente a dificuldade dos problemas de treinamento com base nos sinais de recompensa recentes do modelo, garantindo que o modelo treine consistentemente em tarefas que são desafiadoras, mas solucionáveis. Essa estratégia de amostragem adaptativa acelera o aprendizado ao manter uma faixa de dificuldade ótima, evitando o desperdício de computação em problemas que são muito fáceis ou muito difíceis. O AdaRFT requer apenas uma extensão leve aos algoritmos padrão de RFT, como o Proximal Policy Optimization (PPO), sem modificar a função de recompensa ou a arquitetura do modelo. Experimentos em conjuntos de dados matemáticos de nível competitivo — incluindo problemas no estilo AMC, AIME e IMO — demonstram que o AdaRFT melhora significativamente tanto a eficiência do treinamento quanto o desempenho de raciocínio. Avaliamos o AdaRFT em várias distribuições de dados e tamanhos de modelos, mostrando que ele reduz o número de etapas de treinamento em até 2x e melhora a precisão consideravelmente, oferecendo uma estrutura de RFT mais escalável e eficaz.

English

Reinforcement finetuning (RFT) has shown great potential for enhancing the mathematical reasoning capabilities of large language models (LLMs), but it is often sample- and compute-inefficient, requiring extensive training. In this work, we introduce AdaRFT (Adaptive Curriculum Reinforcement Finetuning), a method that significantly improves both the efficiency and final accuracy of RFT through adaptive curriculum learning. AdaRFT dynamically adjusts the difficulty of training problems based on the model's recent reward signals, ensuring that the model consistently trains on tasks that are challenging but solvable. This adaptive sampling strategy accelerates learning by maintaining an optimal difficulty range, avoiding wasted computation on problems that are too easy or too hard. AdaRFT requires only a lightweight extension to standard RFT algorithms like Proximal Policy Optimization (PPO), without modifying the reward function or model architecture. Experiments on competition-level math datasets-including AMC, AIME, and IMO-style problems-demonstrate that AdaRFT significantly improves both training efficiency and reasoning performance. We evaluate AdaRFT across multiple data distributions and model sizes, showing that it reduces the number of training steps by up to 2x and improves accuracy by a considerable margin, offering a more scalable and effective RFT framework.