Modelagem de Trajetórias de Otimização de Baixo Posto para Aceleração de RLVR em LLMs

Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration

April 13, 2026

Autores: Zhipeng Chen, Tao Qian, Wayne Xin Zhao, Ji-Rong Wen

cs.AI

Resumo

Recentemente, o dimensionamento do aprendizado por reforço com recompensas verificáveis (RLVR) para grandes modelos de linguagem (LLMs) emergiu como um paradigma de treinamento eficaz para melhorar significativamente as capacidades do modelo. Este paradigma requer orientar o modelo para realizar uma exploração e aprendizado extensivos, resultando em uma sobrecarga computacional substancial que se tornou um desafio fundamental. Para reduzir o número de etapas de treinamento, trabalhos anteriores realizam extrapolação linear dos parâmetros do modelo. No entanto, a dinâmica das atualizações dos parâmetros do modelo durante o treinamento RLVR permanece insuficientemente compreendida. Para investigar mais a fundo a evolução dos LLMs durante o treinamento RLVR, conduzimos experimentos empíricos e descobrimos que o subespaço de posto 1 do modelo não evolui linearmente, e sua dominância sobre os parâmetros originais é ainda mais amplificada durante o treinamento com LoRA (Low-Rank Adaptation). Com base nessas observações, propomos a Extrapolação Não Linear de Trajetórias de Baixo Posto (NExt), uma nova estrutura que modela e extrapola as trajetórias dos parâmetros de baixo posto de maneira não linear. Concretamente, primeiro treinamos o modelo usando LoRA e extraímos o subespaço de posto 1 das diferenças de parâmetros em múltiplas etapas de treinamento, que é então usado para a subsequente extrapolação não linear. Posteriormente, utilizamos o subespaço de posto 1 extraído para treinar um preditor, que pode modelar a trajetória das atualizações de parâmetros durante o RLVR, e então realizamos o processo de "predizer-estender" para extrapolar os parâmetros do modelo, alcançando a aceleração do RLVR. Para estudar e compreender melhor o NExt, conduzimos experimentos abrangentes que demonstram a eficácia e a robustez do método. Nosso método reduz a sobrecarga computacional em aproximadamente 37,5%, mantendo-se compatível com uma ampla gama de algoritmos e tarefas de RLVR. Disponibilizamos nosso código em https://github.com/RUCAIBox/NExt.

English

Recently, scaling reinforcement learning with verifiable rewards (RLVR) for large language models (LLMs) has emerged as an effective training paradigm for significantly improving model capabilities, which requires guiding the model to perform extensive exploration and learning, leading to substantial computational overhead and becoming a key challenge. To reduce the number of training steps, Prior work performs linear extrapolation of model parameters. However, the dynamics of model parameter updates during RLVR training remain insufficiently understood. To further investigate the evolution of LLMs during RLVR training, we conduct empirical experiments and find that the rank-1 subspace of the model does not evolve linearly, and its dominance over the original parameters is further amplified during LoRA training. Based on the above insights, we propose the Nonlinear Extrapolation of low-rank trajectories (NExt), a novel framework that models and extrapolates low-rank parameter trajectories in a nonlinear manner. Concretely, we first train the model using LoRA and extract the rank-1 subspace of parameter differences at multiple training steps, which is then used for the subsequent nonlinear extrapolation. Afterward, we utilized the extracted rank-1 subspace to train a predictor, which can model the trajectory of parameter updates during RLVR, and then perform the predict-extend process to extrapolate model parameters, achieving the acceleration of RLVR. To further study and understand NExt, we conduct comprehensive experiments that demonstrate the effectiveness and robustness of the method. Our method reduces computational overhead by approximately 37.5\% while remaining compatible with a wide range of RLVR algorithms and tasks. We release our code in https://github.com/RUCAIBox/NExt.