역방향 표현 정렬을 통한 정규화 흐름 개선

Flowing Backwards: Improving Normalizing Flows via Reverse Representation Alignment

November 27, 2025

저자: Yang Chen, Xiaowei Xu, Shuai Wang, Chenhui Zhu, Ruxue Wen, Xubin Li, Tiezheng Ge, Limin Wang

cs.AI

초록

정규화 흐름(Normalizing Flows, NFs)은 수학적으로 가역적인 구조를 특징으로 하는 생성 모델 클래스로, 순방향 전파는 데이터를 잠재 공간으로 변환하여 밀도 추정을 수행하고, 역방향 전파는 이 공간에서 새로운 샘플을 생성합니다. 이러한 특성은 표현 학습과 데이터 생성 사이의 본질적인 시너지를 창출합니다. 그러나 기존 NFs의 생성 품질은 로그-우도 최적화로 인한 빈약한 의미론적 표현에 의해 제한됩니다. 이를 개선하기 위해, 우리는 NFs의 가역성을 창의적으로 활용한 새로운 정렬 전략을 제안합니다: 순방향 전파를 규제하는 대신, 생성(역방향) 과정의 중간 특징들을 강력한 비전 파운데이션 모델의 표현과 정렬하며, 이 단순한 정렬 방식보다 우수한 효과를 입증합니다. 또한 우리는 분류를 위한 새로운 훈련 불필요형 테스트-타임 최적화 알고리즘을 도입하여, NF에 내재된 의미론적 지식을 보다 본질적으로 평가할 수 있는 방법을 제공합니다. 포괄적인 실험을 통해 우리의 접근 방식이 NFs의 훈련 속도를 3.3배 이상 가속시키면서 동시에 생성 품질과 분류 정확도 모두에서 상당한 개선을 달성함을 입증합니다. ImageNet 64×64 및 256×256 데이터셋에서 NFs에 대한 새로운 최첨단 성능을 확립했습니다. 우리의 코드는 https://github.com/MCG-NJU/FlowBack에서 확인할 수 있습니다.

English

Normalizing Flows (NFs) are a class of generative models distinguished by a mathematically invertible architecture, where the forward pass transforms data into a latent space for density estimation, and the reverse pass generates new samples from this space. This characteristic creates an intrinsic synergy between representation learning and data generation. However, the generative quality of standard NFs is limited by poor semantic representations from log-likelihood optimization. To remedy this, we propose a novel alignment strategy that creatively leverages the invertibility of NFs: instead of regularizing the forward pass, we align the intermediate features of the generative (reverse) pass with representations from a powerful vision foundation model, demonstrating superior effectiveness over naive alignment. We also introduce a novel training-free, test-time optimization algorithm for classification, which provides a more intrinsic evaluation of the NF's embedded semantic knowledge. Comprehensive experiments demonstrate that our approach accelerates the training of NFs by over 3.3times, while simultaneously delivering significant improvements in both generative quality and classification accuracy. New state-of-the-art results for NFs are established on ImageNet 64times64 and 256times256. Our code is available at https://github.com/MCG-NJU/FlowBack.