双方向正規化フロー：データからノイズへ、そして戻る

Bidirectional Normalizing Flow: From Data to Noise and Back

December 11, 2025

著者: Yiyang Lu, Qiao Sun, Xianbang Wang, Zhicheng Jiang, Hanhong Zhao, Kaiming He

cs.AI

要旨

Normalizing Flows（NFs）は、生成的モデリングにおける原理的な枠組みとして確立されている。標準的なNFは順方向過程と逆方向過程で構成され、順方向過程はデータをノイズに写像する一方、逆方向過程はその逆変換によりサンプルを生成する。従来のNFの順方向変換は明示的な可逆性によって制約され、逆方向過程が正確な解析的逆変換として機能することが保証されてきた。近年のTARFlowとその派生研究は、Transformerと自己回帰フローを組み合わせることでNF手法を刷新したが、因果的デコーディングが主要なボトルネックであることも明らかにした。本研究では、正確な解析的逆変換を必要としない枠組みであるBidirectional Normalizing Flow（BiFlow）を提案する。BiFlowは、基盤となるノイズからデータへの逆写像を近似する逆モデルを学習することで、より柔軟な損失関数とアーキテクチャを可能とする。ImageNetにおける実験により、BiFlowは因果的デコーディングの手法と比較して、生成品質を向上させつつ、最大2桁の速さでサンプリングを加速できることを実証した。BiFlowはNFベースの手法の中で最先端の結果を示し、単一評価（「1-NFE」）手法の中でも競争力のある性能を発揮する。NFにおける最近の有望な進展に続き、我々の研究がこの古典的パラダイムへのさらなる関心を集めることを期待する。

English

Normalizing Flows (NFs) have been established as a principled framework for generative modeling. Standard NFs consist of a forward process and a reverse process: the forward process maps data to noise, while the reverse process generates samples by inverting it. Typical NF forward transformations are constrained by explicit invertibility, ensuring that the reverse process can serve as their exact analytic inverse. Recent developments in TARFlow and its variants have revitalized NF methods by combining Transformers and autoregressive flows, but have also exposed causal decoding as a major bottleneck. In this work, we introduce Bidirectional Normalizing Flow (BiFlow), a framework that removes the need for an exact analytic inverse. BiFlow learns a reverse model that approximates the underlying noise-to-data inverse mapping, enabling more flexible loss functions and architectures. Experiments on ImageNet demonstrate that BiFlow, compared to its causal decoding counterpart, improves generation quality while accelerating sampling by up to two orders of magnitude. BiFlow yields state-of-the-art results among NF-based methods and competitive performance among single-evaluation ("1-NFE") methods. Following recent encouraging progress on NFs, we hope our work will draw further attention to this classical paradigm.