양방향 정규화 흐름: 데이터에서 잡음으로 그리고 다시 돌아오기
Bidirectional Normalizing Flow: From Data to Noise and Back
December 11, 2025
저자: Yiyang Lu, Qiao Sun, Xianbang Wang, Zhicheng Jiang, Hanhong Zhao, Kaiming He
cs.AI
초록
정규화 흐름(Normalizing Flows, NFs)은 생성 모델링을 위한 원리 기반 프레임워크로 정립되어 왔습니다. 표준 NF는 순방향 과정과 역방향 과정으로 구성됩니다: 순방향 과정은 데이터를 노이즈에 매핑하는 반면, 역방향 과정은 이를 역변환하여 샘플을 생성합니다. 일반적인 NF 순방향 변환은 명시적 가역성에 의해 제약을 받아, 역방향 과정이 정확한 해석적 역함수가 될 수 있도록 보장합니다. TARFlow와 그 변형 모델들의 최근 발전은 Transformer와 자기회귀 흐름을 결합하여 NF 방법을 재활성화했지만, 인과적 디코딩이 주요 병목 현상이라는 점도 드러냈습니다. 본 연구에서는 정확한 해석적 역함수 필요성을 제거하는 프레임워크인 양방향 정규화 흐름(Bidirectional Normalizing Flow, BiFlow)을 소개합니다. BiFlow는 기본적인 노이즈-데이터 역매핑을 근사하는 역모델을 학습하여 더 유연한 손실 함수와 아키텍처 사용을 가능하게 합니다. ImageNet에 대한 실험 결과, BiFlow는 인과적 디코딩 대비 생성 품질을 향상시키면서 샘플링 속도를 최대 두 배 가량 가속화하는 것으로 나타났습니다. BiFlow는 NF 기반 방법 중 최첨단 성능을 보였으며, 단일 평가("1-NFE") 방법 중에서도 경쟁력 있는 성능을 달성했습니다. NF 분야의 최근 고무적인 발전에 이어, 본 연구가 이 고전적 패러다임에 대한 추가적인 관심을 끌기를 바랍니다.
English
Normalizing Flows (NFs) have been established as a principled framework for generative modeling. Standard NFs consist of a forward process and a reverse process: the forward process maps data to noise, while the reverse process generates samples by inverting it. Typical NF forward transformations are constrained by explicit invertibility, ensuring that the reverse process can serve as their exact analytic inverse. Recent developments in TARFlow and its variants have revitalized NF methods by combining Transformers and autoregressive flows, but have also exposed causal decoding as a major bottleneck. In this work, we introduce Bidirectional Normalizing Flow (BiFlow), a framework that removes the need for an exact analytic inverse. BiFlow learns a reverse model that approximates the underlying noise-to-data inverse mapping, enabling more flexible loss functions and architectures. Experiments on ImageNet demonstrate that BiFlow, compared to its causal decoding counterpart, improves generation quality while accelerating sampling by up to two orders of magnitude. BiFlow yields state-of-the-art results among NF-based methods and competitive performance among single-evaluation ("1-NFE") methods. Following recent encouraging progress on NFs, we hope our work will draw further attention to this classical paradigm.