MIMFlow: Интеграция маскированного моделирования изображений с нормализующими потоками для сквозной генерации изображений

Аннотация

Нормализующие потоки (NFs) являются мощными генеративными моделями, способными к точной оценке плотности и сэмплированию. Однако их строгая обратимость часто заставляет модель исчерпывать свою ёмкость на низкоуровневых деталях пикселей, препятствуя захвату высокоуровневых семантических структур. Хотя маскированное моделирование изображений (MIM) преуспело в обучении представлениям, его интеграция в генеративные конвейеры оставалась в значительной степени модульной и разрозненной. В этой статье мы предлагаем MIMFlow — унифицированную сквозную структуру, которая совместно оптимизирует латентную семантику, реконструкцию пикселей и генеративный поток. Используя VAE-энкодер для вывода семантического латентного представления из маскированных изображений, MIMFlow достигает принципиального разделения генеративной задачи: нормализующий поток сосредоточен на моделировании упрощённого низкочастотного семантического многообразия, в то время как специализированный декодер занимается высокочастотным синтезом. Эта конструкция эффективно устраняет внутреннее узкое место ёмкости NF, позволяя модели отдавать приоритет глобальной структурной согласованности перед избыточным шумом. Эмпирические результаты на ImageNet 256×256 показывают, что MIMFlow-L достигает точности линейного зондирования 71,3% и FID, равного 2,50. Несмотря на использование всего 128 токенов (на 50% меньше, чем в стандартных моделях), он обеспечивает прирост производительности на 32,8% по сравнению с базовыми моделями NF аналогичного масштаба. Наш код доступен по адресу https://github.com/MCG-NJU/MIMFlow.

English

Normalizing Flows (NFs) are powerful generative models capable of exact density estimation and sampling. However, their strict invertibility often forces the model to exhaust its capacity on low-level pixel details, hindering the capture of high-level semantic structures. While Masked Image Modeling (MIM) has excelled in representation learning, its integration into generative pipelines has remained largely modular and disjointed. In this paper, we propose MIMFlow, a unified end-to-end framework that jointly optimizes latent semantics, pixel reconstruction, and generative flow. By employing a VAE encoder to infer semantic latent from masked images, MIMFlow achieves a principled decoupling of the generative task: the Normalizing Flow focuses on modeling a simplified, low-frequency semantic manifold, while a specialized decoder handles high-frequency synthesis. This design effectively resolves the inherent capacity bottleneck of NFs, allowing the model to prioritize global structural coherence over redundant noise. Empirical results on ImageNet 256times256 show that MIMFlow-L reaches 71.3\% linear probing accuracy and an FID of 2.50. Despite using only 128 tokens (50\% fewer than standard models), it yields a 32.8\% performance gain over similar-scale NF baselines. Our code is available at https://github.com/MCG-NJU/MIMFlow.