Gli Angoli Non Mentono: Sbloccare l'Apprendimento per Rinforzo Efficace Attraverso i Segnali del Modello Stesso

Angles Don't Lie: Unlocking Training-Efficient RL Through the Model's Own Signals

June 2, 2025

Autori: Qinsi Wang, Jinghan Ke, Hancheng Ye, Yueqian Lin, Yuzhe Fu, Jianyi Zhang, Kurt Keutzer, Chenfeng Xu, Yiran Chen

cs.AI

Abstract

Gli attuali paradigmi di Reinforcement Fine-Tuning (RFT) per i Large Language Models (LLM) soffrono di inefficienza campionaria a causa dell'esposizione ridondante di query identiche sotto un campionamento uniforme dei dati. Mentre lavori precedenti hanno esplorato il curriculum learning attraverso metriche euristiche di difficoltà, queste strategie presentano limitazioni trascurando i segnali di apprendimento intrinseci generati dal modello stesso, portando così a regimi di addestramento subottimali. In questo articolo, identifichiamo un segnale intrinseco al modello denominato concentrazione angolare che riflette efficacemente la capacità di un LLM di apprendere da dati specifici. Dimostriamo teoricamente ed empiricamente una correlazione tra la distribuzione angolare dei vettori di stato nascosto dei token e il gradiente risultante, rivelando una preferenza di apprendimento per i dati che mostrano una maggiore concentrazione angolare. Ispirati da questa scoperta, proponiamo GAIN-RL, un framework di Reinforcement Learning Navigato e Informato dall'Angolo basato sul Gradiente. Sfruttando il segnale intrinseco di concentrazione angolare del modello, GAIN-RL seleziona dinamicamente i dati di addestramento in ogni epoca, garantendo aggiornamenti del gradiente costantemente impattanti e migliorando così significativamente l'efficienza complessiva dell'addestramento. Valutazioni empiriche dimostrano che GAIN-RL (GRPO) raggiunge un'accelerazione di oltre 2,5 volte nell'efficienza di addestramento su vari compiti matematici e di codifica e su diverse scale di modelli. Inoltre, il campionamento efficiente di GAIN-RL (GRPO) produce un addestramento efficiente in termini di dati, ottenendo prestazioni migliori con la metà dei dati originali rispetto al GRPO standard con tutti i dati di addestramento. Il codice è disponibile all'indirizzo https://github.com/wangqinsi1/GAINRL/tree/main.

English

Current Reinforcement Fine-tuning (RFT) paradigms for Large Language Models (LLMs) suffer from sample inefficiency due to the redundant exposure of identical queries under uniform data sampling. While previous work has explored curriculum learning via heuristic difficulty metrics, these strategies exhibit limitations by neglecting the intrinsic learning signals generated by the model itself, thus leading to suboptimal training regimes. In this paper, we identify a model-inherent signal termed angle concentration that effectively reflects an LLM's capacity to learn from specific data. We theoretically and empirically demonstrate a correlation between the angular distribution of token hidden state vectors and the resulting gradient, revealing a learning preference for data exhibiting higher angle concentration. Inspired by this finding, we propose GAIN-RL, a Gradient-driven Angle-Informed Navigated RL framework. By leveraging the model's intrinsic angle concentration signal, GAIN-RL dynamically selects training data in each epoch, ensuring consistently impactful gradient updates and thus significantly enhancing overall training efficiency. Empirical evaluations show that GAIN-RL (GRPO) achieves over a 2.5x acceleration in training efficiency across diverse mathematical and coding tasks and varying model scales. Furthermore, GAIN-RL (GRPO)'s efficient sampling yields data-efficient training, achieving better performance with half the original data compared to vanilla GRPO with full training data. Code is realsed at https://github.com/wangqinsi1/GAINRL/tree/main.