Winkel lügen nicht: Effizientes Training in Reinforcement Learning durch die Signale des Modells selbst freischalten

Angles Don't Lie: Unlocking Training-Efficient RL Through the Model's Own Signals

June 2, 2025

Autoren: Qinsi Wang, Jinghan Ke, Hancheng Ye, Yueqian Lin, Yuzhe Fu, Jianyi Zhang, Kurt Keutzer, Chenfeng Xu, Yiran Chen

cs.AI

Zusammenfassung

Aktuelle Paradigmen für Reinforcement Fine-Tuning (RFT) von Large Language Models (LLMs) leiden unter einer ineffizienten Stichprobenverarbeitung, da identische Anfragen durch einheitliche Datenstichproben redundant ausgesetzt werden. Während frühere Arbeiten Curriculum Learning über heuristische Schwierigkeitsmetriken untersucht haben, weisen diese Strategien Einschränkungen auf, indem sie die intrinsischen Lernsignale, die vom Modell selbst generiert werden, vernachlässigen, was zu suboptimalen Trainingsregimen führt. In diesem Artikel identifizieren wir ein modellinternes Signal, das als Winkelkonzentration bezeichnet wird und effektiv die Fähigkeit eines LLMs widerspiegelt, aus spezifischen Daten zu lernen. Wir demonstrieren theoretisch und empirisch eine Korrelation zwischen der Winkelverteilung der verborgenen Zustandsvektoren von Tokens und dem resultierenden Gradienten, was eine Lernpräferenz für Daten mit höherer Winkelkonzentration offenbart. Inspiriert von dieser Erkenntnis schlagen wir GAIN-RL vor, ein Gradientengetriebenes, Winkelinformiertes Navigiertes RL-Framework. Indem GAIN-RL das intrinsische Winkelkonzentrationssignal des Modells nutzt, wählt es in jeder Epoche dynamisch Trainingsdaten aus, um kontinuierlich wirkungsvolle Gradientenaktualisierungen zu gewährleisten und somit die Gesamttrainings effizienz erheblich zu steigern. Empirische Auswertungen zeigen, dass GAIN-RL (GRPO) eine über 2,5-fache Beschleunigung der Trainings effizienz über diverse mathematische und Programmieraufgaben sowie verschiedene Modellgrößen hinweg erreicht. Darüber hinaus ermöglicht die effiziente Stichprobenauswahl von GAIN-RL (GRPO) ein dateneffizientes Training, das mit der Hälfte der ursprünglichen Daten eine bessere Leistung erzielt als das herkömmliche GRPO mit vollständigen Trainingsdaten. Der Code ist unter https://github.com/wangqinsi1/GAINRL/tree/main verfügbar.

English

Current Reinforcement Fine-tuning (RFT) paradigms for Large Language Models (LLMs) suffer from sample inefficiency due to the redundant exposure of identical queries under uniform data sampling. While previous work has explored curriculum learning via heuristic difficulty metrics, these strategies exhibit limitations by neglecting the intrinsic learning signals generated by the model itself, thus leading to suboptimal training regimes. In this paper, we identify a model-inherent signal termed angle concentration that effectively reflects an LLM's capacity to learn from specific data. We theoretically and empirically demonstrate a correlation between the angular distribution of token hidden state vectors and the resulting gradient, revealing a learning preference for data exhibiting higher angle concentration. Inspired by this finding, we propose GAIN-RL, a Gradient-driven Angle-Informed Navigated RL framework. By leveraging the model's intrinsic angle concentration signal, GAIN-RL dynamically selects training data in each epoch, ensuring consistently impactful gradient updates and thus significantly enhancing overall training efficiency. Empirical evaluations show that GAIN-RL (GRPO) achieves over a 2.5x acceleration in training efficiency across diverse mathematical and coding tasks and varying model scales. Furthermore, GAIN-RL (GRPO)'s efficient sampling yields data-efficient training, achieving better performance with half the original data compared to vanilla GRPO with full training data. Code is realsed at https://github.com/wangqinsi1/GAINRL/tree/main.