MIMFlow: 마스크 이미지 모델링과 정규화 플로우를 통합한 종단간 이미지 생성

초록

정규화 흐름(Normalizing Flows, NFs)은 정확한 밀도 추정과 샘플링이 가능한 강력한 생성 모델이다. 그러나 엄격한 가역성으로 인해 모델이 저수준 픽셀 세부 사항에 용량을 소진하는 경우가 많아, 고수준 의미 구조의 포착이 저해된다. 마스크 이미지 모델링(Masked Image Modeling, MIM)은 표현 학습에서 뛰어난 성과를 보였지만, 생성 파이프라인으로의 통합은 대부분 모듈식으로 분리되어 상호 연결성이 부족했다. 본 논문에서는 잠재 의미, 픽셀 재구성 및 생성 흐름을 공동으로 최적화하는 통합 엔드 투 엔드 프레임워크인 MIMFlow를 제안한다. VAE 인코더를 사용하여 마스킹된 이미지로부터 의미 잠재 변수를 추론함으로써, MIMFlow는 생성 작업의 원칙적인 분리를 달성한다. 즉, 정규화 흐름은 단순화된 저주파 의미 다양체를 모델링하는 데 집중하고, 전문화된 디코더가 고주파 합성을 담당한다. 이러한 설계는 NF의 고유한 용량 병목 현상을 효과적으로 해결하여 모델이 중복 잡음보다 전역 구조적 일관성을 우선시할 수 있게 한다. ImageNet 256×256에 대한 실험 결과, MIMFlow-L은 71.3%의 선형 프로빙 정확도와 2.50의 FID를 달성했다. 표준 모델보다 50% 적은 128개의 토큰만 사용함에도 불구하고, 유사한 규모의 NF 기준선 대비 32.8%의 성능 향상을 보였다. 코드는 https://github.com/MCG-NJU/MIMFlow에서 확인할 수 있다.

English

Normalizing Flows (NFs) are powerful generative models capable of exact density estimation and sampling. However, their strict invertibility often forces the model to exhaust its capacity on low-level pixel details, hindering the capture of high-level semantic structures. While Masked Image Modeling (MIM) has excelled in representation learning, its integration into generative pipelines has remained largely modular and disjointed. In this paper, we propose MIMFlow, a unified end-to-end framework that jointly optimizes latent semantics, pixel reconstruction, and generative flow. By employing a VAE encoder to infer semantic latent from masked images, MIMFlow achieves a principled decoupling of the generative task: the Normalizing Flow focuses on modeling a simplified, low-frequency semantic manifold, while a specialized decoder handles high-frequency synthesis. This design effectively resolves the inherent capacity bottleneck of NFs, allowing the model to prioritize global structural coherence over redundant noise. Empirical results on ImageNet 256times256 show that MIMFlow-L reaches 71.3\% linear probing accuracy and an FID of 2.50. Despite using only 128 tokens (50\% fewer than standard models), it yields a 32.8\% performance gain over similar-scale NF baselines. Our code is available at https://github.com/MCG-NJU/MIMFlow.