Bidirectionele Normaliserende Stroom: Van Data naar Ruis en Terug
Bidirectional Normalizing Flow: From Data to Noise and Back
December 11, 2025
Auteurs: Yiyang Lu, Qiao Sun, Xianbang Wang, Zhicheng Jiang, Hanhong Zhao, Kaiming He
cs.AI
Samenvatting
Normalizing Flows (NF's) zijn gevestigd als een principieel raamwerk voor generatieve modellering. Standaard NF's bestaan uit een voorwaarts proces en een omgekeerd proces: het voorwaartse proces transformeert data naar ruis, terwijl het omgekeerde proces samples genereert door deze transformatie om te keren. Typische NF-voorwaartse transformaties worden beperkt door expliciete inverteerbaarheid, wat garandeert dat het omgekeerde proces als hun exacte analytische inverse kan dienen. Recente ontwikkelingen in TARFlow en zijn varianten hebben de NF-methoden nieuw leven ingeblazen door Transformers en autoregressieve flows te combineren, maar hebben ook causale decodering blootgelegd als een grote bottleneck. In dit werk introduceren we Bidirectional Normalizing Flow (BiFlow), een raamwerk dat de behoefte aan een exacte analytische inverse wegneemt. BiFlow leert een omgekeerd model dat de onderliggende ruis-naar-data inverse mapping benadert, waardoor flexibelere verliesfuncties en architecturen mogelijk worden. Experimenten op ImageNet tonen aan dat BiFlow, in vergelijking met zijn tegenhanger met causale decodering, de generatiekwaliteit verbetert en tegelijkertijd de sampling versnelt met tot wel twee orden van grootte. BiFlow behaalt state-of-the-art resultaten onder op NF-gebaseerde methoden en competitieve prestaties onder single-evaluatie ("1-NFE") methoden. In navolging van recente bemoedigende vooruitgang op het gebied van NF's, hopen we dat ons werk verdere aandacht zal vestigen op dit klassieke paradigma.
English
Normalizing Flows (NFs) have been established as a principled framework for generative modeling. Standard NFs consist of a forward process and a reverse process: the forward process maps data to noise, while the reverse process generates samples by inverting it. Typical NF forward transformations are constrained by explicit invertibility, ensuring that the reverse process can serve as their exact analytic inverse. Recent developments in TARFlow and its variants have revitalized NF methods by combining Transformers and autoregressive flows, but have also exposed causal decoding as a major bottleneck. In this work, we introduce Bidirectional Normalizing Flow (BiFlow), a framework that removes the need for an exact analytic inverse. BiFlow learns a reverse model that approximates the underlying noise-to-data inverse mapping, enabling more flexible loss functions and architectures. Experiments on ImageNet demonstrate that BiFlow, compared to its causal decoding counterpart, improves generation quality while accelerating sampling by up to two orders of magnitude. BiFlow yields state-of-the-art results among NF-based methods and competitive performance among single-evaluation ("1-NFE") methods. Following recent encouraging progress on NFs, we hope our work will draw further attention to this classical paradigm.