Fluyendo hacia atrás: Mejora de Flujos Normalizadores mediante Alineación Inversa de Representaciones
Flowing Backwards: Improving Normalizing Flows via Reverse Representation Alignment
November 27, 2025
Autores: Yang Chen, Xiaowei Xu, Shuai Wang, Chenhui Zhu, Ruxue Wen, Xubin Li, Tiezheng Ge, Limin Wang
cs.AI
Resumen
Los Flujos Normalizadores (NFs) son una clase de modelos generativos que se distinguen por una arquitectura matemáticamente invertible, donde el paso hacia adelante transforma los datos en un espacio latente para la estimación de densidad, y el paso inverso genera nuevas muestras a partir de este espacio. Esta característica crea una sinergia intrínseca entre el aprendizaje de representaciones y la generación de datos. Sin embargo, la calidad generativa de los NFs estándar se ve limitada por las pobres representaciones semánticas resultantes de la optimización de la verosimilitud logarítmica. Para remediar esto, proponemos una novedosa estrategia de alineación que aprovecha creativamente la invertibilidad de los NFs: en lugar de regularizar el paso hacia adelante, alineamos las características intermedias del paso generativo (inverso) con representaciones de un modelo de base de visión potente, demostrando una eficacia superior frente a una alineación simple. También introducimos un novedoso algoritmo de optimización en tiempo de prueba y sin entrenamiento para clasificación, que proporciona una evaluación más intrínseca del conocimiento semántico incrustado en el NF. Experimentos exhaustivos demuestran que nuestro enfoque acelera el entrenamiento de los NFs en más de 3.3 veces, al mismo tiempo que ofrece mejoras significativas tanto en la calidad generativa como en la precisión de clasificación. Se establecen nuevos resultados de vanguardia para NFs en ImageNet 64x64 y 256x256. Nuestro código está disponible en https://github.com/MCG-NJU/FlowBack.
English
Normalizing Flows (NFs) are a class of generative models distinguished by a mathematically invertible architecture, where the forward pass transforms data into a latent space for density estimation, and the reverse pass generates new samples from this space. This characteristic creates an intrinsic synergy between representation learning and data generation. However, the generative quality of standard NFs is limited by poor semantic representations from log-likelihood optimization. To remedy this, we propose a novel alignment strategy that creatively leverages the invertibility of NFs: instead of regularizing the forward pass, we align the intermediate features of the generative (reverse) pass with representations from a powerful vision foundation model, demonstrating superior effectiveness over naive alignment. We also introduce a novel training-free, test-time optimization algorithm for classification, which provides a more intrinsic evaluation of the NF's embedded semantic knowledge. Comprehensive experiments demonstrate that our approach accelerates the training of NFs by over 3.3times, while simultaneously delivering significant improvements in both generative quality and classification accuracy. New state-of-the-art results for NFs are established on ImageNet 64times64 and 256times256. Our code is available at https://github.com/MCG-NJU/FlowBack.