FLAC: RL de Entropía Máxima mediante Emparejamiento de Puentes Regularizado por Energía Cinética

FLAC: Maximum Entropy RL via Kinetic Energy Regularized Bridge Matching

February 13, 2026

Autores: Lei Lv, Yunfei Li, Yu Luo, Fuchun Sun, Xiao Ma

cs.AI

Resumen

Las políticas generativas iterativas, como los modelos de difusión y el *flow matching*, ofrecen una expresividad superior para el control continuo, pero complican el Aprendizaje por Refuerzo de Entropía Máxima porque sus log-densidades de acción no son directamente accesibles. Para abordar esto, proponemos Field Least-Energy Actor-Critic (FLAC), un marco de trabajo *likelihood-free* que regula la estocasticidad de la política penalizando la energía cinética del campo de velocidad. Nuestra idea clave es formular la optimización de políticas como un problema de Puente de Schrödinger Generalizado (GSB) relativo a un proceso de referencia de alta entropía (por ejemplo, uniforme). Bajo esta perspectiva, el principio de entropía máxima surge naturalmente como el hecho de mantenerse cerca de una referencia de alta entropía mientras se optimiza la recompensa, sin requerir densidades de acción explícitas. En este marco, la energía cinética sirve como un sustituto con base física para la divergencia de la referencia: minimizar la energía en el espacio de trayectorias acota la desviación de la distribución de acción terminal inducida. Basándonos en esta visión, derivamos un esquema de iteración de políticas regularizado por energía y un algoritmo práctico *off-policy* que sintoniza automáticamente la energía cinética mediante un mecanismo dual lagrangiano. Empíricamente, FLAC logra un rendimiento superior o comparable en benchmarks de alta dimensionalidad en relación con líneas base sólidas, evitando al mismo tiempo la estimación de densidad explícita.

English

Iterative generative policies, such as diffusion models and flow matching, offer superior expressivity for continuous control but complicate Maximum Entropy Reinforcement Learning because their action log-densities are not directly accessible. To address this, we propose Field Least-Energy Actor-Critic (FLAC), a likelihood-free framework that regulates policy stochasticity by penalizing the kinetic energy of the velocity field. Our key insight is to formulate policy optimization as a Generalized Schrödinger Bridge (GSB) problem relative to a high-entropy reference process (e.g., uniform). Under this view, the maximum-entropy principle emerges naturally as staying close to a high-entropy reference while optimizing return, without requiring explicit action densities. In this framework, kinetic energy serves as a physically grounded proxy for divergence from the reference: minimizing path-space energy bounds the deviation of the induced terminal action distribution. Building on this view, we derive an energy-regularized policy iteration scheme and a practical off-policy algorithm that automatically tunes the kinetic energy via a Lagrangian dual mechanism. Empirically, FLAC achieves superior or comparable performance on high-dimensional benchmarks relative to strong baselines, while avoiding explicit density estimation.