가치 경사 흐름을 통한 강화 학습

초록

우리는 참조 분포(오프라인 강화학습에서는 데이터셋, LLM 강화학습 파인튜닝에서는 기본 모델)에 대한 정규화를 통해 분포 외 추정 오류로 인한 가치 과적합을 방지하는 behavior-regularized 강화학습을 연구한다. 기존 방법은 대규모 생성 모델에 적용하기 어려운 재매개변수화 정책 경사에 의존하거나, 행동 지지 집합을 벗어나려 할 때 지나치게 보수적인 reject sampling을 사용한다. 본 논문에서는 확장 가능한 새로운 behavior-regularized 강화학습 패러다임인 Value Gradient Flow(VGF)를 제안한다. VGF는 behavior-regularized 강화학습을 참조 분포를 가치 함수가 유도한 최적 정책 분포로 매핑하는 최적 수송 문제로 재구성한다. 우리는 이 수송 문제를 참조 분포에서 초기화된 입자들이 가치 경사에 의해 안내되는 이산 경사 흐름을 통해 해결한다. 분석 결과 VGF는 수송 예산을 제어함으로써 암묵적으로 정규화를 수행함을 확인했다. VGF는 명시적인 정책 매개변수화를 제거하면서도 표현력과 유연성을 유지하므로, 수송 예산 조정을 통해 적응형 테스트 타임 스케일링이 가능하다. 광범위한 실험을 통해 VGF가 오프라인 강화학습 벤치마크(D4RL, OGBench)와 LLM 강화학습 과제에서 기존 방법을 크게 능가하는 최첨단 성과를 달성함을 입증했다. 코드와 실행 결과는 https://ryanxhr.github.io/vgf에서 확인할 수 있다.

English

We study behavior-regularized reinforcement learning (RL), where regularization toward a reference distribution (the dataset in offline RL or the base model in LLM RL finetuning) is essential to prevent value over-optimization caused by erroneous out-of-distribution extrapolation. Existing methods either rely on reparameterized policy gradient, which are difficult to scale to large generative models, or on reject sampling, which can be overly conservative when attempting to move beyond the behavior support. In this paper, we propose Value Gradient Flow (VGF), a scalable new paradigm for behavior-regularized RL. VGF casts behavior-regularized RL as an optimal transport problem that maps the reference distribution to the value-induced optimal policy distribution. We solve this transport problem via discrete gradient flow, where value gradients guide particles initialized from the reference distribution. Our analysis shows that VGF imposes regularization implicitly by controlling the transport budget. VGF eliminates explicit policy parameterization while remaining expressive and flexible, this enables adaptive test-time scaling by adjusting the transport budget. Extensive experiments demonstrate that VGF significantly outperforms prior methods, achieving state-of-the-art results on offline RL benchmarks (D4RL, OGBench) and LLM RL tasks. Code and runs can be found at https://ryanxhr.github.io/vgf.

가치 경사 흐름을 통한 강화 학습

Reinforcement Learning via Value Gradient Flow

초록

Support