FLAC : RL à Entropie Maximale via Appariement de Ponts Régularisé par l'Énergie Cinétique

FLAC: Maximum Entropy RL via Kinetic Energy Regularized Bridge Matching

February 13, 2026

papers.authors: Lei Lv, Yunfei Li, Yu Luo, Fuchun Sun, Xiao Ma

cs.AI

papers.abstract

Les politiques génératives itératives, telles que les modèles de diffusion et l'appariement de flux, offrent une expressivité supérieure pour le contrôle continu, mais compliquent l'apprentissage par renforcement à entropie maximale car leurs log-densités d'action ne sont pas directement accessibles. Pour résoudre ce problème, nous proposons Field Least-Energy Actor-Critic (FLAC), un cadre sans vraisemblance qui régule la stochasticité de la politique en pénalisant l'énergie cinétique du champ de vitesse. Notre idée clé est de formuler l'optimisation de la politique comme un problème de Pont de Schrödinger Généralisé (PSG) par rapport à un processus de référence à haute entropie (par exemple, uniforme). Selon cette perspective, le principe d'entropie maximale émerge naturellement comme le fait de rester proche d'une référence à haute entropie tout en optimisant le rendement, sans nécessiter de densités d'action explicites. Dans ce cadre, l'énergie cinétique sert de proxy physiquement fondé pour la divergence par rapport à la référence : minimiser l'énergie dans l'espace des chemins borne l'écart de la distribution d'action terminale induite. En nous appuyant sur cette perspective, nous dérivons un schéma d'itération de politique régularisé par l'énergie et un algorithme pratique hors politique qui ajuste automatiquement l'énergie cinétique via un mécanisme dual Lagrangien. Empiriquement, FLAC obtient des performances supérieures ou comparables sur des benchmarks de haute dimension par rapport à des bases de référence solides, tout en évitant l'estimation explicite de la densité.

English

Iterative generative policies, such as diffusion models and flow matching, offer superior expressivity for continuous control but complicate Maximum Entropy Reinforcement Learning because their action log-densities are not directly accessible. To address this, we propose Field Least-Energy Actor-Critic (FLAC), a likelihood-free framework that regulates policy stochasticity by penalizing the kinetic energy of the velocity field. Our key insight is to formulate policy optimization as a Generalized Schrödinger Bridge (GSB) problem relative to a high-entropy reference process (e.g., uniform). Under this view, the maximum-entropy principle emerges naturally as staying close to a high-entropy reference while optimizing return, without requiring explicit action densities. In this framework, kinetic energy serves as a physically grounded proxy for divergence from the reference: minimizing path-space energy bounds the deviation of the induced terminal action distribution. Building on this view, we derive an energy-regularized policy iteration scheme and a practical off-policy algorithm that automatically tunes the kinetic energy via a Lagrangian dual mechanism. Empirically, FLAC achieves superior or comparable performance on high-dimensional benchmarks relative to strong baselines, while avoiding explicit density estimation.