MIMFlow: Integration von maskierter Bildmodellierung mit normalisierenden Flüssen für Ende-zu-Ende-Bildgenerierung

Zusammenfassung

Normalisierende Flüsse (NFs) sind leistungsstarke generative Modelle, die exakte Dichteschätzung und Stichprobenerzeugung ermöglichen. Ihre strenge Invertierbarkeit zwingt das Modell jedoch häufig dazu, seine Kapazität auf niedrige Pixeldetails zu verwenden, was die Erfassung hochrangiger semantischer Strukturen behindert. Während sich die maskierte Bildmodellierung (Masked Image Modeling, MIM) in der Repräsentationslernung ausgezeichnet hat, blieb ihre Integration in generative Pipelines weitgehend modular und unzusammenhängend. In diesem Artikel schlagen wir MIMFlow vor, ein einheitliches End-to-End-Framework, das latente Semantik, Pixelrekonstruktion und generativen Fluss gemeinsam optimiert. Durch die Verwendung eines VAE-Encoders zur Ableitung latenter Semantik aus maskierten Bildern erreicht MIMFlow eine prinzipielle Entkopplung der generativen Aufgabe: Der Normalisierende Fluss konzentriert sich auf die Modellierung einer vereinfachten, niederfrequenten semantischen Mannigfaltigkeit, während ein spezialisierter Decoder die hochfrequente Synthese übernimmt. Dieses Design löst effektiv den inhärenten Kapazitätsengpass von NFs, sodass das Modell globale strukturelle Kohärenz über redundantes Rauschen priorisieren kann. Empirische Ergebnisse auf ImageNet 256×256 zeigen, dass MIMFlow-L eine Linear-Prob ing-Genauigkeit von 71,3 % und einen FID von 2,50 erreicht. Trotz der Verwendung von nur 128 Tokens (50 % weniger als bei Standardmodellen) erzielt es einen Leistungsgewinn von 32,8 % gegenüber NF-Baselines ähnlicher Größe. Unser Code ist verfügbar unter https://github.com/MCG-NJU/MIMFlow.

English

Normalizing Flows (NFs) are powerful generative models capable of exact density estimation and sampling. However, their strict invertibility often forces the model to exhaust its capacity on low-level pixel details, hindering the capture of high-level semantic structures. While Masked Image Modeling (MIM) has excelled in representation learning, its integration into generative pipelines has remained largely modular and disjointed. In this paper, we propose MIMFlow, a unified end-to-end framework that jointly optimizes latent semantics, pixel reconstruction, and generative flow. By employing a VAE encoder to infer semantic latent from masked images, MIMFlow achieves a principled decoupling of the generative task: the Normalizing Flow focuses on modeling a simplified, low-frequency semantic manifold, while a specialized decoder handles high-frequency synthesis. This design effectively resolves the inherent capacity bottleneck of NFs, allowing the model to prioritize global structural coherence over redundant noise. Empirical results on ImageNet 256times256 show that MIMFlow-L reaches 71.3\% linear probing accuracy and an FID of 2.50. Despite using only 128 tokens (50\% fewer than standard models), it yields a 32.8\% performance gain over similar-scale NF baselines. Our code is available at https://github.com/MCG-NJU/MIMFlow.