Моделирование низкоранговых оптимизационных траекторий для ускорения RLVR в больших языковых моделях

Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration

April 13, 2026

Авторы: Zhipeng Chen, Tao Qian, Wayne Xin Zhao, Ji-Rong Wen

cs.AI

Аннотация

В последнее время масштабирование обучения с подкреплением с верифицируемыми вознаграждениями (RLVR) для больших языковых моделей (LLM) стало эффективной парадигмой обучения, значительно повышающей способности моделей. Однако этот подход требует направления модели на выполнение обширных исследований и обучения, что приводит к существенным вычислительным затратам и становится ключевой проблемой. Для сокращения количества шагов обучения предыдущие работы выполняли линейную экстраполяцию параметров модели. Однако динамика обновления параметров модели в процессе обучения RLVR остается недостаточно изученной. Чтобы глубже исследовать эволюцию LLM в ходе обучения RLVR, мы провели эмпирические эксперименты и обнаружили, что ранговое-1 подпространство модели не эволюционирует линейно, а его доминирование над исходными параметрами дополнительно усиливается при обучении с помощью LoRA. Основываясь на этих наблюдениях, мы предлагаем Нелинейную Экстраполяцию низкоранговых траекторий (NExt) — новую структуру, которая нелинейным образом моделирует и экстраполирует траектории параметров низкого ранга. Конкретно, мы сначала обучаем модель с использованием LoRA и извлекаем ранговое-1 подпространство разностей параметров на нескольких шагах обучения, которое затем используется для последующей нелинейной экстраполяции. После этого мы использовали извлеченное ранговое-1 подпространство для обучения предиктора, который может моделировать траекторию обновления параметров в ходе RLVR, а затем выполняем процесс «предсказание-расширение» для экстраполяции параметров модели, достигая ускорения RLVR. Для дальнейшего изучения и понимания NExt мы провели комплексные эксперименты, демонстрирующие эффективность и надежность метода. Наш метод сокращает вычислительные затраты примерно на 37,5%, сохраняя совместимость с широким спектром алгоритмов и задач RLVR. Мы публикуем наш код по адресу https://github.com/RUCAIBox/NExt.

English

Recently, scaling reinforcement learning with verifiable rewards (RLVR) for large language models (LLMs) has emerged as an effective training paradigm for significantly improving model capabilities, which requires guiding the model to perform extensive exploration and learning, leading to substantial computational overhead and becoming a key challenge. To reduce the number of training steps, Prior work performs linear extrapolation of model parameters. However, the dynamics of model parameter updates during RLVR training remain insufficiently understood. To further investigate the evolution of LLMs during RLVR training, we conduct empirical experiments and find that the rank-1 subspace of the model does not evolve linearly, and its dominance over the original parameters is further amplified during LoRA training. Based on the above insights, we propose the Nonlinear Extrapolation of low-rank trajectories (NExt), a novel framework that models and extrapolates low-rank parameter trajectories in a nonlinear manner. Concretely, we first train the model using LoRA and extract the rank-1 subspace of parameter differences at multiple training steps, which is then used for the subsequent nonlinear extrapolation. Afterward, we utilized the extracted rank-1 subspace to train a predictor, which can model the trajectory of parameter updates during RLVR, and then perform the predict-extend process to extrapolate model parameters, achieving the acceleration of RLVR. To further study and understand NExt, we conduct comprehensive experiments that demonstrate the effectiveness and robustness of the method. Our method reduces computational overhead by approximately 37.5\% while remaining compatible with a wide range of RLVR algorithms and tasks. We release our code in https://github.com/RUCAIBox/NExt.