Эффективное обучение с подкреплением с видеоподкреплением за счет управления внеполитичным влиянием

Аннотация

Отбор данных является ключевым аспектом обучения с подкреплением с верифицируемыми вознаграждениями (RLVR) для улучшения способностей к рассуждению у больших языковых моделей (LLM). Современные методы отбора данных в значительной степени основаны на эвристиках, не имея теоретических гарантий и универсальности. В данной работе предлагается теоретически обоснованный подход, использующий функции влияния для оценки вклада каждой точки данных в целевую функцию обучения. Чтобы преодолеть запретительные вычислительные затраты на развёртывание политик, необходимые для онлайн-оценки влияния, мы представляем метод оценки влияния вне политики, который эффективно аппроксимирует влияние данных с использованием предварительно собранных оффлайн-траекторий. Кроме того, для работы с высокоразмерными градиентами LLM мы применяем разреженное случайное проецирование для снижения размерности и повышения эффективности хранения и вычислений. Используя эти методы, мы разрабатываем Curriculum RL с направляющим влиянием вне политики (CROPI) — многоэтапную RL-структуру, которая итеративно выбирает наиболее влиятельные данные для текущей политики. Эксперименты на моделях размером до 7 миллиардов параметров демонстрируют, что CROPI значительно ускоряет обучение. На модели с 1,5 миллиардами параметров метод достигает ускорения в 2,66 раза на уровне шагов, используя лишь 10% данных на каждом этапе по сравнению с обучением на полном наборе данных. Наши результаты подчеркивают существенный потенциал отбора данных на основе оценки влияния для эффективного RLVR.

English

Data selection is a critical aspect of Reinforcement Learning with Verifiable Rewards (RLVR) for enhancing the reasoning capabilities of large language models (LLMs). Current data selection methods are largely heuristic-based, lacking theoretical guarantees and generalizability. This work proposes a theoretically-grounded approach using influence functions to estimate the contribution of each data point to the learning objective. To overcome the prohibitive computational cost of policy rollouts required for online influence estimation, we introduce an off-policy influence estimation method that efficiently approximates data influence using pre-collected offline trajectories. Furthermore, to manage the high-dimensional gradients of LLMs, we employ sparse random projection to reduce dimensionality and improve storage and computation efficiency. Leveraging these techniques, we develop Curriculum RL with Off-Policy Influence guidance (CROPI), a multi-stage RL framework that iteratively selects the most influential data for the current policy. Experiments on models up to 7B parameters demonstrate that CROPI significantly accelerates training. On a 1.5B model, it achieves a 2.66x step-level acceleration while using only 10\% of the data per stage compared to full-dataset training. Our results highlight the substantial potential of influence-based data selection for efficient RLVR.

Эффективное обучение с подкреплением с видеоподкреплением за счет управления внеполитичным влиянием

Data-Efficient RLVR via Off-Policy Influence Guidance

Аннотация

Support