Aprendizaje por Refuerzo mediante el Flujo del Gradiente de Valor

Reinforcement Learning via Value Gradient Flow

April 15, 2026

Autores: Haoran Xu, Kaiwen Hu, Somayeh Sojoudi, Amy Zhang

cs.AI

Resumen

Estudiamos el aprendizaje por refuerzo regularizado por comportamiento (RL), donde la regularización hacia una distribución de referencia (el conjunto de datos en RL fuera de línea o el modelo base en el ajuste fino de RL para LLM) es esencial para evitar la sobreoptimización de valores causada por una extrapolación errónea fuera de distribución. Los métodos existentes dependen del gradiente de política reparametrizado, que es difícil de escalar a grandes modelos generativos, o del muestreo por rechazo, que puede ser excesivamente conservador al intentar ir más allá del soporte del comportamiento. En este artículo, proponemos Flujo de Gradiente de Valor (VGF), un nuevo paradigma escalable para RL regularizado por comportamiento. VGF plantea el RL regularizado por comportamiento como un problema de transporte óptimo que mapea la distribución de referencia a la distribución de política óptima inducida por el valor. Resolvemos este problema de transporte mediante flujo de gradiente discreto, donde los gradientes de valor guían partículas inicializadas desde la distribución de referencia. Nuestro análisis muestra que VGF impone la regularización implícitamente al controlar el presupuesto de transporte. VGF elimina la parametrización explícita de la política mientras mantiene expresividad y flexibilidad, lo que permite un escalado adaptativo en tiempo de prueba ajustando el presupuesto de transporte. Experimentos exhaustivos demuestran que VGF supera significativamente a métodos anteriores, logrando resultados de vanguardia en benchmarks de RL fuera de línea (D4RL, OGBench) y tareas de RL para LLM. El código y las ejecuciones se pueden encontrar en https://ryanxhr.github.io/vgf.

English

We study behavior-regularized reinforcement learning (RL), where regularization toward a reference distribution (the dataset in offline RL or the base model in LLM RL finetuning) is essential to prevent value over-optimization caused by erroneous out-of-distribution extrapolation. Existing methods either rely on reparameterized policy gradient, which are difficult to scale to large generative models, or on reject sampling, which can be overly conservative when attempting to move beyond the behavior support. In this paper, we propose Value Gradient Flow (VGF), a scalable new paradigm for behavior-regularized RL. VGF casts behavior-regularized RL as an optimal transport problem that maps the reference distribution to the value-induced optimal policy distribution. We solve this transport problem via discrete gradient flow, where value gradients guide particles initialized from the reference distribution. Our analysis shows that VGF imposes regularization implicitly by controlling the transport budget. VGF eliminates explicit policy parameterization while remaining expressive and flexible, this enables adaptive test-time scaling by adjusting the transport budget. Extensive experiments demonstrate that VGF significantly outperforms prior methods, achieving state-of-the-art results on offline RL benchmarks (D4RL, OGBench) and LLM RL tasks. Code and runs can be found at https://ryanxhr.github.io/vgf.