Modellering van Optimalisatietrajectoriën met Lage Rang voor Versnelling van LLM RLVR

Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration

April 13, 2026

Auteurs: Zhipeng Chen, Tao Qian, Wayne Xin Zhao, Ji-Rong Wen

cs.AI

Samenvatting

Onlangs is schaalvergroting van reinforcement learning met verifieerbare beloningen (RLVR) voor grote taalmodellen naar voren gekomen als een effectieve trainingsparadigma om modelcapaciteiten aanzienlijk te verbeteren. Dit vereist dat het model wordt gestuurd om uitgebreide exploratie en leren uit te voeren, wat aanzienlijke rekenkosten met zich meebrengt en een belangrijke uitdaging vormt. Om het aantal trainingsstappen te verminderen, voert eerder werk lineaire extrapolatie van modelparameters uit. De dynamiek van modelparameterupdates tijdens RLVR-training is echter nog onvoldoende begrepen. Om de evolutie van grote taalmodellen tijdens RLVR-training verder te onderzoeken, voeren we empirische experimenten uit. We constateren dat de rang-1-deelruimte van het model niet lineair evolueert, en dat de dominantie ervan over de oorspronkelijke parameters verder wordt versterkt tijdens LoRA-training. Op basis van deze inzichten stellen we de niet-lineaire extrapolatie van trajecten met lage rang (NExt) voor, een nieuw raamwerk dat parameter trajecten met een lage rang op een niet-lineaire manier modelleert en extrapoleert. Concreet trainen we eerst het model met LoRA en extraheren de rang-1-deelruimte van parameter verschillen op meerdere trainingsstappen, die vervolgens wordt gebruikt voor de daaropvolgende niet-lineaire extrapolatie. Vervolgens gebruiken we de geëxtraheerde rang-1-deelruimte om een predictor te trainen. Deze predictor kan het traject van parameter updates tijdens RLVR modelleren, waarna het voorspel-verleng-proces wordt uitgevoerd om modelparameters te extrapoleren, waardoor versnelling van RLVR wordt bereikt. Om NExt verder te bestuderen en begrijpen, voeren we uitgebreide experimenten uit die de effectiviteit en robuustheid van de methode aantonen. Onze methode vermindert de rekenkosten met ongeveer 37,5% en blijft compatibel met een breed scala aan RLVR-algoritmen en taken. We hebben onze code vrijgegeven op https://github.com/RUCAIBox/NExt.

English

Recently, scaling reinforcement learning with verifiable rewards (RLVR) for large language models (LLMs) has emerged as an effective training paradigm for significantly improving model capabilities, which requires guiding the model to perform extensive exploration and learning, leading to substantial computational overhead and becoming a key challenge. To reduce the number of training steps, Prior work performs linear extrapolation of model parameters. However, the dynamics of model parameter updates during RLVR training remain insufficiently understood. To further investigate the evolution of LLMs during RLVR training, we conduct empirical experiments and find that the rank-1 subspace of the model does not evolve linearly, and its dominance over the original parameters is further amplified during LoRA training. Based on the above insights, we propose the Nonlinear Extrapolation of low-rank trajectories (NExt), a novel framework that models and extrapolates low-rank parameter trajectories in a nonlinear manner. Concretely, we first train the model using LoRA and extract the rank-1 subspace of parameter differences at multiple training steps, which is then used for the subsequent nonlinear extrapolation. Afterward, we utilized the extracted rank-1 subspace to train a predictor, which can model the trajectory of parameter updates during RLVR, and then perform the predict-extend process to extrapolate model parameters, achieving the acceleration of RLVR. To further study and understand NExt, we conduct comprehensive experiments that demonstrate the effectiveness and robustness of the method. Our method reduces computational overhead by approximately 37.5\% while remaining compatible with a wide range of RLVR algorithms and tasks. We release our code in https://github.com/RUCAIBox/NExt.