Bidirektionaler Normalisierungsfluss: Von Daten zu Rauschen und zurück
Bidirectional Normalizing Flow: From Data to Noise and Back
December 11, 2025
papers.authors: Yiyang Lu, Qiao Sun, Xianbang Wang, Zhicheng Jiang, Hanhong Zhao, Kaiming He
cs.AI
papers.abstract
Normalizing Flows (NFs) haben sich als ein prinzipieller Rahmen für generative Modellierung etabliert. Standard-NFs bestehen aus einem Vorwärtsprozess und einem Rückwärtsprozess: Der Vorwärtsprozess bildet Daten auf Rauschen ab, während der Rückwärtsprozess durch seine Invertierung Stichproben erzeugt. Typische NF-Vorwärtstransformationen sind durch explizite Invertierbarkeit eingeschränkt, um sicherzustellen, dass der Rückwärtsprozess als deren exakte analytische Inverse dienen kann. Jüngste Entwicklungen in TARFlow und seinen Varianten haben NF-Methoden durch die Kombination von Transformern und autoregressiven Flows neu belebt, haben aber auch kausale Decodierung als einen wesentlichen Engpass offengelegt. In dieser Arbeit stellen wir Bidirectional Normalizing Flow (BiFlow) vor, ein Framework, das die Notwendigkeit einer exakten analytischen Inverse aufhebt. BiFlow erlernt ein Rückwärtsmodell, das die zugrundeliegende Rauschen-zu-Daten-Inverse approximiert und so flexiblere Verlustfunktionen und Architekturen ermöglicht. Experimente auf ImageNet zeigen, dass BiFlow im Vergleich zu seinem kausal decodierenden Gegenstück die Erzeugungsqualität verbessert und gleichzeitig die Stichprobenentnahme um bis zu zwei Größenordnungen beschleunigt. BiFlow erzielt state-of-the-art Ergebnisse unter NF-basierten Methoden und eine wettbewerbsfähige Leistung unter Single-Evaluation ("1-NFE")-Methoden. Angesichts der jüngsten ermutigenden Fortschritte bei NFs hoffen wir, dass unsere Arbeit weitere Aufmerksamkeit auf dieses klassische Paradigma lenken wird.
English
Normalizing Flows (NFs) have been established as a principled framework for generative modeling. Standard NFs consist of a forward process and a reverse process: the forward process maps data to noise, while the reverse process generates samples by inverting it. Typical NF forward transformations are constrained by explicit invertibility, ensuring that the reverse process can serve as their exact analytic inverse. Recent developments in TARFlow and its variants have revitalized NF methods by combining Transformers and autoregressive flows, but have also exposed causal decoding as a major bottleneck. In this work, we introduce Bidirectional Normalizing Flow (BiFlow), a framework that removes the need for an exact analytic inverse. BiFlow learns a reverse model that approximates the underlying noise-to-data inverse mapping, enabling more flexible loss functions and architectures. Experiments on ImageNet demonstrate that BiFlow, compared to its causal decoding counterpart, improves generation quality while accelerating sampling by up to two orders of magnitude. BiFlow yields state-of-the-art results among NF-based methods and competitive performance among single-evaluation ("1-NFE") methods. Following recent encouraging progress on NFs, we hope our work will draw further attention to this classical paradigm.