Achterwaarts Stromen: Verbetering van Normaliserende Stromen via Reverse Representatie-uitlijning

Flowing Backwards: Improving Normalizing Flows via Reverse Representation Alignment

November 27, 2025

Auteurs: Yang Chen, Xiaowei Xu, Shuai Wang, Chenhui Zhu, Ruxue Wen, Xubin Li, Tiezheng Ge, Limin Wang

cs.AI

Samenvatting

Normalizing Flows (NF's) vormen een klasse van generatieve modellen die zich onderscheiden door een wiskundig inverteerbare architectuur. Hierbij transformeert de forward-pass data naar een latente ruimte voor dichtheidsschatting, terwijl de reverse-pass nieuwe samples uit deze ruimte genereert. Deze eigenschap creëert een intrinsieke synergie tussen representatieleren en datageneratie. De generatieve kwaliteit van standaard NF's wordt echter beperkt door zwakke semantische representaties uit log-waarschijnlijkheidsoptimalisatie. Als oplossing presenteren we een nieuwe aligneringsstrategie die creatief gebruikmaakt van de inverteerbaarheid van NF's: in plaats van de forward-pass te regulariseren, aligneren we de intermediaire kenmerken van de generatieve (reverse) pass met representaties uit een krachtig vision foundation-model. Dit toont superieure effectiviteit aan boven naïeve alignering. We introduceren tevens een nieuw trainingsvrij optimalisatiealgoritme voor classificatie tijdens testtijd, dat een meer intrinsieke evaluatie biedt van de in de NF ingebedde semantische kennis. Uitgebreide experimenten tonen aan dat onze aanpak de training van NF's met meer dan 3,3x versnelt, terwijl tegelijkertijd significante verbeteringen worden behaald in zowel generatieve kwaliteit als classificatienauwkeurigheid. Nieuwe state-of-the-art resultaten voor NF's worden behaald op ImageNet 64×64 en 256×256. Onze code is beschikbaar op https://github.com/MCG-NJU/FlowBack.

English

Normalizing Flows (NFs) are a class of generative models distinguished by a mathematically invertible architecture, where the forward pass transforms data into a latent space for density estimation, and the reverse pass generates new samples from this space. This characteristic creates an intrinsic synergy between representation learning and data generation. However, the generative quality of standard NFs is limited by poor semantic representations from log-likelihood optimization. To remedy this, we propose a novel alignment strategy that creatively leverages the invertibility of NFs: instead of regularizing the forward pass, we align the intermediate features of the generative (reverse) pass with representations from a powerful vision foundation model, demonstrating superior effectiveness over naive alignment. We also introduce a novel training-free, test-time optimization algorithm for classification, which provides a more intrinsic evaluation of the NF's embedded semantic knowledge. Comprehensive experiments demonstrate that our approach accelerates the training of NFs by over 3.3times, while simultaneously delivering significant improvements in both generative quality and classification accuracy. New state-of-the-art results for NFs are established on ImageNet 64times64 and 256times256. Our code is available at https://github.com/MCG-NJU/FlowBack.