Двунаправленный нормализующий поток: от данных к шуму и обратно
Bidirectional Normalizing Flow: From Data to Noise and Back
December 11, 2025
Авторы: Yiyang Lu, Qiao Sun, Xianbang Wang, Zhicheng Jiang, Hanhong Zhao, Kaiming He
cs.AI
Аннотация
Нормализующие потоки (NF) утвердились как принципиальная основа для генеративного моделирования. Стандартные NF состоят из прямого и обратного процессов: прямой процесс преобразует данные в шум, тогда как обратный процесс генерирует выборки путём его обращения. Типичные прямые преобразования в NF ограничены требованием явной обратимости, что гарантирует, что обратный процесс может служить их точным аналитическим обращением. Последние разработки TARFlow и его вариантов возродили интерес к методам NF, объединив трансформеры и авторегрессионные потоки, но также выявили причинное декодирование как ключевое узкое место. В данной работе мы представляем двунаправленный нормализующий поток (BiFlow) — подход, который устраняет необходимость в точном аналитическом обращении. BiFlow обучает обратную модель, аппроксимирующую базовое обратное отображение "шум-данные", что позволяет использовать более гибкие функции потерь и архитектуры. Эксперименты на ImageNet демонстрируют, что BiFlow по сравнению с методами, использующими причинное декодирование, улучшает качество генерации, одновременно ускоряя семплирование до двух порядков величины. BiFlow показывает наилучшие результаты среди методов на основе NF и конкурентоспособную производительность среди методов с однократной оценкой ("1-NFE"). Вслед за недавним обнадёживающим прогрессом в области NF, мы надеемся, что наша работа привлечёт дальнейшее внимание к этой классической парадигме.
English
Normalizing Flows (NFs) have been established as a principled framework for generative modeling. Standard NFs consist of a forward process and a reverse process: the forward process maps data to noise, while the reverse process generates samples by inverting it. Typical NF forward transformations are constrained by explicit invertibility, ensuring that the reverse process can serve as their exact analytic inverse. Recent developments in TARFlow and its variants have revitalized NF methods by combining Transformers and autoregressive flows, but have also exposed causal decoding as a major bottleneck. In this work, we introduce Bidirectional Normalizing Flow (BiFlow), a framework that removes the need for an exact analytic inverse. BiFlow learns a reverse model that approximates the underlying noise-to-data inverse mapping, enabling more flexible loss functions and architectures. Experiments on ImageNet demonstrate that BiFlow, compared to its causal decoding counterpart, improves generation quality while accelerating sampling by up to two orders of magnitude. BiFlow yields state-of-the-art results among NF-based methods and competitive performance among single-evaluation ("1-NFE") methods. Following recent encouraging progress on NFs, we hope our work will draw further attention to this classical paradigm.