Les Angles Ne Mentent Pas : Débloquer l'Apprentissage Efficace par Renforcement grâce aux Signaux Internes du Modèle

Angles Don't Lie: Unlocking Training-Efficient RL Through the Model's Own Signals

June 2, 2025

Auteurs: Qinsi Wang, Jinghan Ke, Hancheng Ye, Yueqian Lin, Yuzhe Fu, Jianyi Zhang, Kurt Keutzer, Chenfeng Xu, Yiran Chen

cs.AI

Résumé

Les paradigmes actuels de réglage fin par renforcement (RFT) pour les modèles de langage de grande taille (LLMs) souffrent d'une inefficacité d'échantillonnage due à l'exposition redondante de requêtes identiques sous un échantillonnage uniforme des données. Bien que des travaux antérieurs aient exploré l'apprentissage curriculaire via des métriques heuristiques de difficulté, ces stratégies présentent des limites en négligeant les signaux d'apprentissage intrinsèques générés par le modèle lui-même, conduisant ainsi à des régimes d'entraînement sous-optimaux. Dans cet article, nous identifions un signal inhérent au modèle, appelé concentration angulaire, qui reflète efficacement la capacité d'un LLM à apprendre à partir de données spécifiques. Nous démontrons théoriquement et empiriquement une corrélation entre la distribution angulaire des vecteurs d'état cachés des tokens et le gradient résultant, révélant une préférence d'apprentissage pour les données présentant une concentration angulaire plus élevée. Inspirés par cette découverte, nous proposons GAIN-RL, un cadre de renforcement guidé par gradient et informé par l'angle. En exploitant le signal de concentration angulaire intrinsèque du modèle, GAIN-RL sélectionne dynamiquement les données d'entraînement à chaque époque, garantissant des mises à jour de gradient constamment impactantes et améliorant ainsi significativement l'efficacité globale de l'entraînement. Les évaluations empiriques montrent que GAIN-RL (GRPO) atteint une accélération de plus de 2,5 fois l'efficacité d'entraînement sur diverses tâches mathématiques et de codage, ainsi que sur différentes échelles de modèles. De plus, l'échantillonnage efficace de GAIN-RL (GRPO) permet un entraînement économe en données, obtenant de meilleures performances avec la moitié des données d'origine par rapport à GRPO classique avec l'ensemble des données d'entraînement. Le code est disponible à l'adresse suivante : https://github.com/wangqinsi1/GAINRL/tree/main.

English

Current Reinforcement Fine-tuning (RFT) paradigms for Large Language Models (LLMs) suffer from sample inefficiency due to the redundant exposure of identical queries under uniform data sampling. While previous work has explored curriculum learning via heuristic difficulty metrics, these strategies exhibit limitations by neglecting the intrinsic learning signals generated by the model itself, thus leading to suboptimal training regimes. In this paper, we identify a model-inherent signal termed angle concentration that effectively reflects an LLM's capacity to learn from specific data. We theoretically and empirically demonstrate a correlation between the angular distribution of token hidden state vectors and the resulting gradient, revealing a learning preference for data exhibiting higher angle concentration. Inspired by this finding, we propose GAIN-RL, a Gradient-driven Angle-Informed Navigated RL framework. By leveraging the model's intrinsic angle concentration signal, GAIN-RL dynamically selects training data in each epoch, ensuring consistently impactful gradient updates and thus significantly enhancing overall training efficiency. Empirical evaluations show that GAIN-RL (GRPO) achieves over a 2.5x acceleration in training efficiency across diverse mathematical and coding tasks and varying model scales. Furthermore, GAIN-RL (GRPO)'s efficient sampling yields data-efficient training, achieving better performance with half the original data compared to vanilla GRPO with full training data. Code is realsed at https://github.com/wangqinsi1/GAINRL/tree/main.