Afinamiento Eficiente de Aprendizaje por Refuerzo mediante Currículo Adaptativo

Efficient Reinforcement Finetuning via Adaptive Curriculum Learning

April 7, 2025

Autores: Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

cs.AI

Resumen

El ajuste fino por refuerzo (RFT, por sus siglas en inglés) ha demostrado un gran potencial para mejorar las capacidades de razonamiento matemático de los modelos de lenguaje grandes (LLMs), pero suele ser ineficiente en términos de muestras y cómputo, requiriendo un entrenamiento extenso. En este trabajo, presentamos AdaRFT (Ajuste Fino por Refuerzo con Currículo Adaptativo), un método que mejora significativamente tanto la eficiencia como la precisión final del RFT mediante el aprendizaje de currículo adaptativo. AdaRFT ajusta dinámicamente la dificultad de los problemas de entrenamiento basándose en las señales de recompensa recientes del modelo, asegurando que el modelo se entrene consistentemente en tareas que son desafiantes pero resolubles. Esta estrategia de muestreo adaptativo acelera el aprendizaje al mantener un rango óptimo de dificultad, evitando el desperdicio de cómputo en problemas que son demasiado fáciles o demasiado difíciles. AdaRFT requiere solo una extensión ligera a los algoritmos estándar de RFT como la Optimización de Política Proximal (PPO), sin modificar la función de recompensa o la arquitectura del modelo. Los experimentos en conjuntos de datos de matemáticas de nivel competitivo, incluyendo problemas de estilo AMC, AIME e IMO, demuestran que AdaRFT mejora significativamente tanto la eficiencia del entrenamiento como el rendimiento del razonamiento. Evaluamos AdaRFT en múltiples distribuciones de datos y tamaños de modelos, mostrando que reduce el número de pasos de entrenamiento hasta en 2x y mejora la precisión considerablemente, ofreciendo un marco de RFT más escalable y efectivo.

English

Reinforcement finetuning (RFT) has shown great potential for enhancing the mathematical reasoning capabilities of large language models (LLMs), but it is often sample- and compute-inefficient, requiring extensive training. In this work, we introduce AdaRFT (Adaptive Curriculum Reinforcement Finetuning), a method that significantly improves both the efficiency and final accuracy of RFT through adaptive curriculum learning. AdaRFT dynamically adjusts the difficulty of training problems based on the model's recent reward signals, ensuring that the model consistently trains on tasks that are challenging but solvable. This adaptive sampling strategy accelerates learning by maintaining an optimal difficulty range, avoiding wasted computation on problems that are too easy or too hard. AdaRFT requires only a lightweight extension to standard RFT algorithms like Proximal Policy Optimization (PPO), without modifying the reward function or model architecture. Experiments on competition-level math datasets-including AMC, AIME, and IMO-style problems-demonstrate that AdaRFT significantly improves both training efficiency and reasoning performance. We evaluate AdaRFT across multiple data distributions and model sizes, showing that it reduces the number of training steps by up to 2x and improves accuracy by a considerable margin, offering a more scalable and effective RFT framework.