Ângulos Não Mentem: Desbloqueando RL Eficiente no Treinamento Através dos Próprios Sinais do Modelo

Angles Don't Lie: Unlocking Training-Efficient RL Through the Model's Own Signals

June 2, 2025

Autores: Qinsi Wang, Jinghan Ke, Hancheng Ye, Yueqian Lin, Yuzhe Fu, Jianyi Zhang, Kurt Keutzer, Chenfeng Xu, Yiran Chen

cs.AI

Resumo

Os paradigmas atuais de Ajuste Fino por Reforço (RFT) para Modelos de Linguagem de Grande Escala (LLMs) sofrem com a ineficiência amostral devido à exposição redundante de consultas idênticas sob amostragem uniforme de dados. Embora trabalhos anteriores tenham explorado o aprendizado curricular por meio de métricas heurísticas de dificuldade, essas estratégias apresentam limitações ao negligenciar os sinais intrínsecos de aprendizado gerados pelo próprio modelo, levando assim a regimes de treinamento subótimos. Neste artigo, identificamos um sinal inerente ao modelo denominado concentração angular, que reflete efetivamente a capacidade de um LLM de aprender a partir de dados específicos. Demonstramos teoricamente e empiricamente uma correlação entre a distribuição angular dos vetores de estado oculto dos tokens e o gradiente resultante, revelando uma preferência de aprendizado por dados que exibem maior concentração angular. Inspirados por essa descoberta, propomos o GAIN-RL, um framework de Reforço Navegado Informado por Ângulo e Orientado por Gradiente. Ao aproveitar o sinal intrínseco de concentração angular do modelo, o GAIN-RL seleciona dinamicamente os dados de treinamento em cada época, garantindo atualizações de gradiente consistentemente impactantes e, assim, melhorando significativamente a eficiência geral do treinamento. Avaliações empíricas mostram que o GAIN-RL (GRPO) alcança uma aceleração de mais de 2,5x na eficiência de treinamento em diversas tarefas matemáticas e de codificação e em diferentes escalas de modelo. Além disso, a amostragem eficiente do GAIN-RL (GRPO) resulta em um treinamento com uso eficiente de dados, alcançando melhor desempenho com metade dos dados originais em comparação com o GRPO padrão com todos os dados de treinamento. O código está disponível em https://github.com/wangqinsi1/GAINRL/tree/main.

English

Current Reinforcement Fine-tuning (RFT) paradigms for Large Language Models (LLMs) suffer from sample inefficiency due to the redundant exposure of identical queries under uniform data sampling. While previous work has explored curriculum learning via heuristic difficulty metrics, these strategies exhibit limitations by neglecting the intrinsic learning signals generated by the model itself, thus leading to suboptimal training regimes. In this paper, we identify a model-inherent signal termed angle concentration that effectively reflects an LLM's capacity to learn from specific data. We theoretically and empirically demonstrate a correlation between the angular distribution of token hidden state vectors and the resulting gradient, revealing a learning preference for data exhibiting higher angle concentration. Inspired by this finding, we propose GAIN-RL, a Gradient-driven Angle-Informed Navigated RL framework. By leveraging the model's intrinsic angle concentration signal, GAIN-RL dynamically selects training data in each epoch, ensuring consistently impactful gradient updates and thus significantly enhancing overall training efficiency. Empirical evaluations show that GAIN-RL (GRPO) achieves over a 2.5x acceleration in training efficiency across diverse mathematical and coding tasks and varying model scales. Furthermore, GAIN-RL (GRPO)'s efficient sampling yields data-efficient training, achieving better performance with half the original data compared to vanilla GRPO with full training data. Code is realsed at https://github.com/wangqinsi1/GAINRL/tree/main.