Обучение с подкреплением на основе потока градиента ценности

Reinforcement Learning via Value Gradient Flow

April 15, 2026

Авторы: Haoran Xu, Kaiwen Hu, Somayeh Sojoudi, Amy Zhang

cs.AI

Аннотация

Мы исследуем обучение с подкреплением с регуляризацией поведения (RL), где регуляризация в сторону опорного распределения (набора данных в офлайн-RL или базовой модели при тонкой настройке LLM с помощью RL) необходима для предотвращения переоптимизации функции ценности, вызванной ошибочной экстраполяцией за пределы распределения. Существующие методы либо полагаются на репараметризованный градиент политики, который сложно масштабировать на большие генеративные модели, либо на отбраковку выборок, которая может быть излишне консервативной при попытке выйти за пределы носителя опорного поведения. В данной статье мы предлагаем Поток Градиента Ценности (Value Gradient Flow, VGF) — новую масштабируемую парадигму для RL с регуляризацией поведения. VGF формулирует RL с регуляризацией поведения как задачу оптимального транспорта, которая отображает опорное распределение на распределение оптимальной политики, индуцированное функцией ценности. Мы решаем эту транспортную задачу с помощью дискретного градиентного потока, в котором градиенты ценности направляют частицы, инициализированные из опорного распределения. Наш анализ показывает, что VGF накладывает регуляризацию неявно, контролируя бюджет транспорта. VGF устраняет явную параметризацию политики, оставаясь при этом выразительным и гибким, что позволяет осуществлять адаптивное масштабирование во время тестирования путем регулирования бюджета транспорта. Многочисленные эксперименты демонстрируют, что VGF существенно превосходит предыдущие методы, достигая наилучших результатов на бенчмарках офлайн-RL (D4RL, OGBench) и в задачах RL для языковых моделей. Код и результаты доступны по адресу https://ryanxhr.github.io/vgf.

English

We study behavior-regularized reinforcement learning (RL), where regularization toward a reference distribution (the dataset in offline RL or the base model in LLM RL finetuning) is essential to prevent value over-optimization caused by erroneous out-of-distribution extrapolation. Existing methods either rely on reparameterized policy gradient, which are difficult to scale to large generative models, or on reject sampling, which can be overly conservative when attempting to move beyond the behavior support. In this paper, we propose Value Gradient Flow (VGF), a scalable new paradigm for behavior-regularized RL. VGF casts behavior-regularized RL as an optimal transport problem that maps the reference distribution to the value-induced optimal policy distribution. We solve this transport problem via discrete gradient flow, where value gradients guide particles initialized from the reference distribution. Our analysis shows that VGF imposes regularization implicitly by controlling the transport budget. VGF eliminates explicit policy parameterization while remaining expressive and flexible, this enables adaptive test-time scaling by adjusting the transport budget. Extensive experiments demonstrate that VGF significantly outperforms prior methods, achieving state-of-the-art results on offline RL benchmarks (D4RL, OGBench) and LLM RL tasks. Code and runs can be found at https://ryanxhr.github.io/vgf.