Углы не лгут: раскрытие потенциала эффективного обучения с подкреплением через собственные сигналы модели

Angles Don't Lie: Unlocking Training-Efficient RL Through the Model's Own Signals

June 2, 2025

Авторы: Qinsi Wang, Jinghan Ke, Hancheng Ye, Yueqian Lin, Yuzhe Fu, Jianyi Zhang, Kurt Keutzer, Chenfeng Xu, Yiran Chen

cs.AI

Аннотация

Современные парадигмы тонкой настройки с подкреплением (Reinforcement Fine-tuning, RFT) для крупных языковых моделей (Large Language Models, LLMs) страдают от низкой эффективности использования данных из-за избыточного повторения одинаковых запросов при равномерной выборке данных. Хотя предыдущие работы исследовали обучение по учебному плану с использованием эвристических метрик сложности, эти стратегии имеют ограничения, игнорируя внутренние сигналы обучения, генерируемые самой моделью, что приводит к неоптимальным режимам обучения. В данной работе мы выявляем внутренний сигнал модели, называемый концентрацией углов, который эффективно отражает способность LLM обучаться на конкретных данных. Мы теоретически и эмпирически демонстрируем корреляцию между угловым распределением векторов скрытых состояний токенов и результирующим градиентом, выявляя предпочтение в обучении данным с более высокой концентрацией углов. Вдохновленные этим открытием, мы предлагаем GAIN-RL, градиентно-ориентированную RL-структуру с навигацией на основе углов. Используя внутренний сигнал концентрации углов модели, GAIN-RL динамически выбирает данные для обучения на каждой эпохе, обеспечивая устойчиво значимые обновления градиента и тем самым значительно повышая общую эффективность обучения. Эмпирические оценки показывают, что GAIN-RL (GRPO) достигает более чем 2,5-кратного ускорения эффективности обучения на разнообразных математических и кодировочных задачах и при различных масштабах моделей. Более того, эффективная выборка GAIN-RL (GRPO) обеспечивает обучение с высокой эффективностью использования данных, достигая лучших результатов с половиной исходных данных по сравнению с базовым GRPO с полным набором данных для обучения. Код доступен по адресу https://github.com/wangqinsi1/GAINRL/tree/main.

English

Current Reinforcement Fine-tuning (RFT) paradigms for Large Language Models (LLMs) suffer from sample inefficiency due to the redundant exposure of identical queries under uniform data sampling. While previous work has explored curriculum learning via heuristic difficulty metrics, these strategies exhibit limitations by neglecting the intrinsic learning signals generated by the model itself, thus leading to suboptimal training regimes. In this paper, we identify a model-inherent signal termed angle concentration that effectively reflects an LLM's capacity to learn from specific data. We theoretically and empirically demonstrate a correlation between the angular distribution of token hidden state vectors and the resulting gradient, revealing a learning preference for data exhibiting higher angle concentration. Inspired by this finding, we propose GAIN-RL, a Gradient-driven Angle-Informed Navigated RL framework. By leveraging the model's intrinsic angle concentration signal, GAIN-RL dynamically selects training data in each epoch, ensuring consistently impactful gradient updates and thus significantly enhancing overall training efficiency. Empirical evaluations show that GAIN-RL (GRPO) achieves over a 2.5x acceleration in training efficiency across diverse mathematical and coding tasks and varying model scales. Furthermore, GAIN-RL (GRPO)'s efficient sampling yields data-efficient training, achieving better performance with half the original data compared to vanilla GRPO with full training data. Code is realsed at https://github.com/wangqinsi1/GAINRL/tree/main.