Apprendimento per Rinforzo tramite Flusso del Gradiente del Valore

Reinforcement Learning via Value Gradient Flow

April 15, 2026

Autori: Haoran Xu, Kaiwen Hu, Somayeh Sojoudi, Amy Zhang

cs.AI

Abstract

Studiamo il reinforcement learning (RL) con regolarizzazione comportamentale, in cui la regolarizzazione verso una distribuzione di riferimento (il dataset nell'RL offline o il modello base nel fine-tuning RL per LLM) è essenziale per prevenire l'over-optimization del valore causato da un'estrapolazione erronea fuori distribuzione. I metodi esistenti si basano su gradienti di politica riparametrizzati, che sono difficili da scalare a grandi modelli generativi, o sul reject sampling, che può risultare eccessivamente conservativo quando si tenta di andare oltre il supporto comportamentale. In questo articolo, proponiamo Value Gradient Flow (VGF), un nuovo paradigma scalabile per l'RL con regolarizzazione comportamentale. VGF inquadra l'RL regolarizzato come un problema di trasporto ottimo che mappa la distribuzione di riferimento alla distribuzione di politica ottimale indotta dal valore. Risolviamo questo problema di trasporto mediante un flusso di gradiente discreto, in cui i gradienti del valore guidano particelle inizializzate dalla distribuzione di riferimento. La nostra analisi mostra che VGF impone la regolarizzazione implicitamente controllando il budget di trasporto. VGF elimina la parametrizzazione esplicita della politica pur rimanendo espressivo e flessibile, il che consente uno scaling adattivo al tempo di test regolando il budget di trasporto. Esperimenti estensivi dimostrano che VGF supera significativamente i metodi precedenti, raggiungendo risultati state-of-the-art su benchmark di RL offline (D4RL, OGBench) e su task di RL per LLM. Codice ed esecuzioni sono disponibili su https://ryanxhr.github.io/vgf.

English

We study behavior-regularized reinforcement learning (RL), where regularization toward a reference distribution (the dataset in offline RL or the base model in LLM RL finetuning) is essential to prevent value over-optimization caused by erroneous out-of-distribution extrapolation. Existing methods either rely on reparameterized policy gradient, which are difficult to scale to large generative models, or on reject sampling, which can be overly conservative when attempting to move beyond the behavior support. In this paper, we propose Value Gradient Flow (VGF), a scalable new paradigm for behavior-regularized RL. VGF casts behavior-regularized RL as an optimal transport problem that maps the reference distribution to the value-induced optimal policy distribution. We solve this transport problem via discrete gradient flow, where value gradients guide particles initialized from the reference distribution. Our analysis shows that VGF imposes regularization implicitly by controlling the transport budget. VGF eliminates explicit policy parameterization while remaining expressive and flexible, this enables adaptive test-time scaling by adjusting the transport budget. Extensive experiments demonstrate that VGF significantly outperforms prior methods, achieving state-of-the-art results on offline RL benchmarks (D4RL, OGBench) and LLM RL tasks. Code and runs can be found at https://ryanxhr.github.io/vgf.