MIMFlow : Intégration de la Modélisation d'Images Masquées avec des Flux Normalisants pour la Génération d'Images de Bout en Bout

Résumé

Les Flots Normalisants (NFs) sont des modèles génératifs puissants capables d'estimation exacte de densité et d'échantillonnage. Cependant, leur stricte inversibilité contraint souvent le modèle à épuiser sa capacité sur les détails de pixels de bas niveau, entravant la capture des structures sémantiques de haut niveau. Bien que la Modélisation d'Images Masquées (MIM) ait excellé en apprentissage de représentations, son intégration dans les pipelines génératifs est restée largement modulaire et déconnectée. Dans cet article, nous proposons MIMFlow, un cadre unifié de bout en bout qui optimise conjointement la sémantique latente, la reconstruction des pixels et le flot génératif. En utilisant un encodeur VAE pour inférer le latent sémantique à partir d'images masquées, MIMFlow réalise un découplage de principe de la tâche générative : le Flot Normalisant se concentre sur la modélisation d'une variété sémantique simplifiée à basse fréquence, tandis qu'un décodeur spécialisé gère la synthèse à haute fréquence. Cette conception résout efficacement le goulot d'étranglement inhérent à la capacité des NFs, permettant au modèle de prioriser la cohérence structurelle globale par rapport au bruit redondant. Les résultats empiriques sur ImageNet 256×256 montrent que MIMFlow-L atteint une précision de sondage linéaire de 71,3 % et un FID de 2,50. Malgré l'utilisation de seulement 128 tokens (50 % de moins que les modèles standards), il offre un gain de performance de 32,8 % par rapport aux bases NF d'échelle similaire. Notre code est disponible à l'adresse https://github.com/MCG-NJU/MIMFlow.

English

Normalizing Flows (NFs) are powerful generative models capable of exact density estimation and sampling. However, their strict invertibility often forces the model to exhaust its capacity on low-level pixel details, hindering the capture of high-level semantic structures. While Masked Image Modeling (MIM) has excelled in representation learning, its integration into generative pipelines has remained largely modular and disjointed. In this paper, we propose MIMFlow, a unified end-to-end framework that jointly optimizes latent semantics, pixel reconstruction, and generative flow. By employing a VAE encoder to infer semantic latent from masked images, MIMFlow achieves a principled decoupling of the generative task: the Normalizing Flow focuses on modeling a simplified, low-frequency semantic manifold, while a specialized decoder handles high-frequency synthesis. This design effectively resolves the inherent capacity bottleneck of NFs, allowing the model to prioritize global structural coherence over redundant noise. Empirical results on ImageNet 256times256 show that MIMFlow-L reaches 71.3\% linear probing accuracy and an FID of 2.50. Despite using only 128 tokens (50\% fewer than standard models), it yields a 32.8\% performance gain over similar-scale NF baselines. Our code is available at https://github.com/MCG-NJU/MIMFlow.