FLAC: Máxima Entropia em RL via Correspondência de Pontes com Regularização de Energia Cinética
FLAC: Maximum Entropy RL via Kinetic Energy Regularized Bridge Matching
February 13, 2026
Autores: Lei Lv, Yunfei Li, Yu Luo, Fuchun Sun, Xiao Ma
cs.AI
Resumo
Políticas generativas iterativas, como os modelos de difusão e *flow matching*, oferecem uma expressividade superior para o controle contínuo, mas complicam o Aprendizado por Reforço de Entropia Máxima porque as log-densidades de suas ações não são diretamente acessíveis. Para resolver isso, propomos o *Field Least-Energy Actor-Critic* (FLAC), uma estrutura *likelihood-free* que regula a estocasticidade da política penalizando a energia cinética do campo de velocidade. Nossa principal percepção é formular a otimização da política como um problema de Ponte de Schrödinger Generalizada (PSG) relativo a um processo de referência de alta entropia (por exemplo, uniforme). Sob essa perspectiva, o princípio de entropia máxima surge naturalmente como permanecer próximo a uma referência de alta entropia enquanto otimiza o retorno, sem exigir densidades de ação explícitas. Nesta estrutura, a energia cinética serve como um *proxy* fisicamente fundamentado para a divergência da referência: minimizar a energia no espaço de caminhos limita o desvio da distribuição de ação terminal induzida. Com base nessa visão, derivamos um esquema de iteração de política com regularização de energia e um algoritmo prático *off-policy* que sintoniza automaticamente a energia cinética por meio de um mecanismo dual Lagrangiano. Empiricamente, o FLAC alcança desempenho superior ou comparável em benchmarks de alta dimensionalidade em relação a *baselines* fortes, evitando ao mesmo tempo a estimação de densidade explícita.
English
Iterative generative policies, such as diffusion models and flow matching, offer superior expressivity for continuous control but complicate Maximum Entropy Reinforcement Learning because their action log-densities are not directly accessible. To address this, we propose Field Least-Energy Actor-Critic (FLAC), a likelihood-free framework that regulates policy stochasticity by penalizing the kinetic energy of the velocity field. Our key insight is to formulate policy optimization as a Generalized Schrödinger Bridge (GSB) problem relative to a high-entropy reference process (e.g., uniform). Under this view, the maximum-entropy principle emerges naturally as staying close to a high-entropy reference while optimizing return, without requiring explicit action densities. In this framework, kinetic energy serves as a physically grounded proxy for divergence from the reference: minimizing path-space energy bounds the deviation of the induced terminal action distribution. Building on this view, we derive an energy-regularized policy iteration scheme and a practical off-policy algorithm that automatically tunes the kinetic energy via a Lagrangian dual mechanism. Empirically, FLAC achieves superior or comparable performance on high-dimensional benchmarks relative to strong baselines, while avoiding explicit density estimation.