Los Ángulos No Mienten: Desbloqueando el Aprendizaje por Refuerzo Eficiente en Entrenamiento a Través de las Señales del Propio Modelo

Angles Don't Lie: Unlocking Training-Efficient RL Through the Model's Own Signals

June 2, 2025

Autores: Qinsi Wang, Jinghan Ke, Hancheng Ye, Yueqian Lin, Yuzhe Fu, Jianyi Zhang, Kurt Keutzer, Chenfeng Xu, Yiran Chen

cs.AI

Resumen

Los paradigmas actuales de Ajuste Fino por Refuerzo (RFT) para Modelos de Lenguaje a Gran Escala (LLMs) adolecen de ineficiencia en el uso de muestras debido a la exposición redundante de consultas idénticas bajo un muestreo uniforme de datos. Si bien trabajos previos han explorado el aprendizaje curricular mediante métricas heurísticas de dificultad, estas estrategias presentan limitaciones al ignorar las señales de aprendizaje intrínsecas generadas por el propio modelo, lo que conduce a regímenes de entrenamiento subóptimos. En este artículo, identificamos una señal inherente al modelo denominada concentración angular, que refleja efectivamente la capacidad de un LLM para aprender de datos específicos. Demostramos teórica y empíricamente una correlación entre la distribución angular de los vectores de estado oculto de los tokens y el gradiente resultante, revelando una preferencia de aprendizaje por datos que exhiben una mayor concentración angular. Inspirados por este hallazgo, proponemos GAIN-RL, un marco de Aprendizaje por Refuerzo Navegado por Información Angular basado en Gradientes. Al aprovechar la señal intrínseca de concentración angular del modelo, GAIN-RL selecciona dinámicamente los datos de entrenamiento en cada época, asegurando actualizaciones de gradiente consistentemente impactantes y, por lo tanto, mejorando significativamente la eficiencia general del entrenamiento. Las evaluaciones empíricas muestran que GAIN-RL (GRPO) logra una aceleración de más de 2.5 veces en la eficiencia del entrenamiento en diversas tareas matemáticas y de codificación, y en diferentes escalas de modelos. Además, el muestreo eficiente de GAIN-RL (GRPO) produce un entrenamiento eficiente en datos, alcanzando un mejor rendimiento con la mitad de los datos originales en comparación con GRPO estándar utilizando todos los datos de entrenamiento. El código está disponible en https://github.com/wangqinsi1/GAINRL/tree/main.

English

Current Reinforcement Fine-tuning (RFT) paradigms for Large Language Models (LLMs) suffer from sample inefficiency due to the redundant exposure of identical queries under uniform data sampling. While previous work has explored curriculum learning via heuristic difficulty metrics, these strategies exhibit limitations by neglecting the intrinsic learning signals generated by the model itself, thus leading to suboptimal training regimes. In this paper, we identify a model-inherent signal termed angle concentration that effectively reflects an LLM's capacity to learn from specific data. We theoretically and empirically demonstrate a correlation between the angular distribution of token hidden state vectors and the resulting gradient, revealing a learning preference for data exhibiting higher angle concentration. Inspired by this finding, we propose GAIN-RL, a Gradient-driven Angle-Informed Navigated RL framework. By leveraging the model's intrinsic angle concentration signal, GAIN-RL dynamically selects training data in each epoch, ensuring consistently impactful gradient updates and thus significantly enhancing overall training efficiency. Empirical evaluations show that GAIN-RL (GRPO) achieves over a 2.5x acceleration in training efficiency across diverse mathematical and coding tasks and varying model scales. Furthermore, GAIN-RL (GRPO)'s efficient sampling yields data-efficient training, achieving better performance with half the original data compared to vanilla GRPO with full training data. Code is realsed at https://github.com/wangqinsi1/GAINRL/tree/main.