Вариационные карты потоков: добавим шума для одношагового условного порождения

Variational Flow Maps: Make Some Noise for One-Step Conditional Generation

March 7, 2026

Авторы: Abbas Mammadov, So Takao, Bohan Chen, Ricardo Baptista, Morteza Mardani, Yee Whye Teh, Julius Berner

cs.AI

Аннотация

Карты потоков позволяют генерировать высококачественные изображения за один прямой проход. Однако, в отличие от итеративных диффузионных моделей, отсутствие у них явной траектории сэмплинга затрудняет включение внешних ограничений для условной генерации и решения обратных задач. Мы предлагаем Вариационные Карты Потоков (Variational Flow Maps, VFM) — фреймворк для условного сэмплинга, который смещает перспективу обусловливания от «направления пути сэмплинга» к «обучению правильному начальному шуму». Конкретно, имея наблюдение, мы стремимся обучить модель-адаптер шума, которая выдает распределение шума таким образом, чтобы после отображения в пространство данных с помощью карты потока сэмплы соответствовали наблюдению и априорному распределению данных. Для этого мы разрабатываем принципиально вариационную цель, которая совместно обучает адаптер шума и карту потока, улучшая соответствие между шумом и данными, так что сэмплирование из сложного апостериорного распределения данных достигается с помощью простого адаптера. Эксперименты на различных обратных задачах показывают, что VFM производит хорошо калиброванные условные сэмплы за один (или несколько) шагов. Для ImageNet VFM достигает конкурентоспособной точности, ускоряя сэмплирование на порядки по сравнению с альтернативными итеративными диффузионными/потоковыми моделями. Код доступен по адресу https://github.com/abbasmammadov/VFM.

English

Flow maps enable high-quality image generation in a single forward pass. However, unlike iterative diffusion models, their lack of an explicit sampling trajectory impedes incorporating external constraints for conditional generation and solving inverse problems. We put forth Variational Flow Maps, a framework for conditional sampling that shifts the perspective of conditioning from "guiding a sampling path", to that of "learning the proper initial noise". Specifically, given an observation, we seek to learn a noise adapter model that outputs a noise distribution, so that after mapping to the data space via flow map, the samples respect the observation and data prior. To this end, we develop a principled variational objective that jointly trains the noise adapter and the flow map, improving noise-data alignment, such that sampling from complex data posterior is achieved with a simple adapter. Experiments on various inverse problems show that VFMs produce well-calibrated conditional samples in a single (or few) steps. For ImageNet, VFM attains competitive fidelity while accelerating the sampling by orders of magnitude compared to alternative iterative diffusion/flow models. Code is available at https://github.com/abbasmammadov/VFM