MIMFlow: Integración del modelado de imágenes enmascaradas con flujos normalizantes para la generación de imágenes de extremo a extremo

Resumen

Los Flujos Normalizantes (NFs) son modelos generativos poderosos capaces de realizar estimación de densidad exacta y muestreo. Sin embargo, su estricta invertibilidad a menudo obliga al modelo a agotar su capacidad en detalles de píxeles de bajo nivel, dificultando la captura de estructuras semánticas de alto nivel. Si bien el Modelado de Imágenes Enmascaradas (MIM) ha sobresalido en el aprendizaje de representaciones, su integración en procesos generativos ha permanecido en gran medida modular y desarticulada. En este artículo, proponemos MIMFlow, un marco unificado de extremo a extremo que optimiza conjuntamente la semántica latente, la reconstrucción de píxeles y el flujo generativo. Al emplear un codificador VAE para inferir latentes semánticos a partir de imágenes enmascaradas, MIMFlow logra una separación fundamentada de la tarea generativa: el Flujo Normalizante se enfoca en modelar una variedad semántica simplificada y de baja frecuencia, mientras que un decodificador especializado maneja la síntesis de alta frecuencia. Este diseño resuelve eficazmente el cuello de botella de capacidad inherente de los NFs, permitiendo que el modelo priorice la coherencia estructural global sobre el ruido redundante. Los resultados empíricos en ImageNet 256×256 muestran que MIMFlow-L alcanza una precisión de sondeo lineal del 71.3% y un FID de 2.50. A pesar de utilizar solo 128 tokens (un 50% menos que los modelos estándar), obtiene una mejora del 32.8% en rendimiento con respecto a líneas de base de NF de escala similar. Nuestro código está disponible en https://github.com/MCG-NJU/MIMFlow.

English

Normalizing Flows (NFs) are powerful generative models capable of exact density estimation and sampling. However, their strict invertibility often forces the model to exhaust its capacity on low-level pixel details, hindering the capture of high-level semantic structures. While Masked Image Modeling (MIM) has excelled in representation learning, its integration into generative pipelines has remained largely modular and disjointed. In this paper, we propose MIMFlow, a unified end-to-end framework that jointly optimizes latent semantics, pixel reconstruction, and generative flow. By employing a VAE encoder to infer semantic latent from masked images, MIMFlow achieves a principled decoupling of the generative task: the Normalizing Flow focuses on modeling a simplified, low-frequency semantic manifold, while a specialized decoder handles high-frequency synthesis. This design effectively resolves the inherent capacity bottleneck of NFs, allowing the model to prioritize global structural coherence over redundant noise. Empirical results on ImageNet 256times256 show that MIMFlow-L reaches 71.3\% linear probing accuracy and an FID of 2.50. Despite using only 128 tokens (50\% fewer than standard models), it yields a 32.8\% performance gain over similar-scale NF baselines. Our code is available at https://github.com/MCG-NJU/MIMFlow.