Hoeken liegen niet: Trainingsefficiënte RL ontgrendelen via de eigen signalen van het model

Angles Don't Lie: Unlocking Training-Efficient RL Through the Model's Own Signals

June 2, 2025

Auteurs: Qinsi Wang, Jinghan Ke, Hancheng Ye, Yueqian Lin, Yuzhe Fu, Jianyi Zhang, Kurt Keutzer, Chenfeng Xu, Yiran Chen

cs.AI

Samenvatting

Huidige Reinforcement Fine-tuning (RFT) paradigma's voor Large Language Models (LLM's) lijden aan inefficiëntie in het gebruik van voorbeelden vanwege de overbodige blootstelling aan identieke queries onder uniforme data sampling. Hoewel eerder onderzoek curriculum learning heeft verkend via heuristische moeilijkheidsmetrieken, vertonen deze strategieën beperkingen door de intrinsieke leersignalen die door het model zelf worden gegenereerd te negeren, wat leidt tot suboptimale trainingsregimes. In dit artikel identificeren we een model-intrinsiek signaal genaamd hoekconcentratie dat effectief het vermogen van een LLM weerspiegelt om van specifieke data te leren. We tonen theoretisch en empirisch een correlatie aan tussen de hoekverdeling van token hidden state vectoren en de resulterende gradiënt, wat een leerpreferentie onthult voor data met een hogere hoekconcentratie. Geïnspireerd door deze bevinding stellen we GAIN-RL voor, een Gradient-driven Angle-Informed Navigated RL framework. Door gebruik te maken van het intrinsieke hoekconcentratiesignaal van het model, selecteert GAIN-RL dynamisch trainingsdata in elke epoch, waardoor consistente en impactvolle gradiëntupdates worden gegarandeerd en de algehele trainingsefficiëntie aanzienlijk wordt verbeterd. Empirische evaluaties tonen aan dat GAIN-RL (GRPO) een meer dan 2,5x versnelling in trainingsefficiëntie bereikt over diverse wiskundige en coderings taken en verschillende modelschalen. Bovendien resulteert de efficiënte sampling van GAIN-RL (GRPO) in data-efficiënte training, waarbij betere prestaties worden bereikt met de helft van de oorspronkelijke data in vergelijking met vanilla GRPO met volledige trainingsdata. Code is beschikbaar op https://github.com/wangqinsi1/GAINRL/tree/main.

English

Current Reinforcement Fine-tuning (RFT) paradigms for Large Language Models (LLMs) suffer from sample inefficiency due to the redundant exposure of identical queries under uniform data sampling. While previous work has explored curriculum learning via heuristic difficulty metrics, these strategies exhibit limitations by neglecting the intrinsic learning signals generated by the model itself, thus leading to suboptimal training regimes. In this paper, we identify a model-inherent signal termed angle concentration that effectively reflects an LLM's capacity to learn from specific data. We theoretically and empirically demonstrate a correlation between the angular distribution of token hidden state vectors and the resulting gradient, revealing a learning preference for data exhibiting higher angle concentration. Inspired by this finding, we propose GAIN-RL, a Gradient-driven Angle-Informed Navigated RL framework. By leveraging the model's intrinsic angle concentration signal, GAIN-RL dynamically selects training data in each epoch, ensuring consistently impactful gradient updates and thus significantly enhancing overall training efficiency. Empirical evaluations show that GAIN-RL (GRPO) achieves over a 2.5x acceleration in training efficiency across diverse mathematical and coding tasks and varying model scales. Furthermore, GAIN-RL (GRPO)'s efficient sampling yields data-efficient training, achieving better performance with half the original data compared to vanilla GRPO with full training data. Code is realsed at https://github.com/wangqinsi1/GAINRL/tree/main.