変分フローマップ：ワンステップ条件付き生成のためのノイズ導入

要旨

フローマップは、単一のフォワードパスで高品質な画像生成を可能にする。しかし、反復的な拡散モデルとは異なり、明示的なサンプリング軌道を欠くため、条件付き生成における外部制約の組み込みや逆問題の解決が妨げられる。本研究では、条件付きサンプリングのためのフレームワークであるVariational Flow Maps (VFM) を提案する。このフレームワークは、条件付けの視点を「サンプリング経路の誘導」から「適切な初期ノイズの学習」へと転換する。具体的には、観測値が与えられたとき、ノイズ適応モデルを学習し、それが出力するノイズ分布をフローマップ経由でデータ空間に写像した後、得られるサンプルが観測値とデータ事前分布を満たすようにする。この目的のために、ノイズ適応モデルとフローマップを共同で訓練し、ノイズとデータの整合性を改善する、原理に基づいた変分目的関数を開発する。これにより、複雑なデータ事後分布からのサンプリングが単純な適応器で達成できる。様々な逆問題における実験により、VFMが単一（または少数）のステップで較正の取れた条件付きサンプルを生成することを示す。ImageNetでは、VFMは競争力のある忠実度を達成し、他の反復的な拡散/フローモデルと比較してサンプリング速度を桁違いに高速化する。コードはhttps://github.com/abbasmammadov/VFM で公開されている。

English

Flow maps enable high-quality image generation in a single forward pass. However, unlike iterative diffusion models, their lack of an explicit sampling trajectory impedes incorporating external constraints for conditional generation and solving inverse problems. We put forth Variational Flow Maps, a framework for conditional sampling that shifts the perspective of conditioning from "guiding a sampling path", to that of "learning the proper initial noise". Specifically, given an observation, we seek to learn a noise adapter model that outputs a noise distribution, so that after mapping to the data space via flow map, the samples respect the observation and data prior. To this end, we develop a principled variational objective that jointly trains the noise adapter and the flow map, improving noise-data alignment, such that sampling from complex data posterior is achieved with a simple adapter. Experiments on various inverse problems show that VFMs produce well-calibrated conditional samples in a single (or few) steps. For ImageNet, VFM attains competitive fidelity while accelerating the sampling by orders of magnitude compared to alternative iterative diffusion/flow models. Code is available at https://github.com/abbasmammadov/VFM

変分フローマップ：ワンステップ条件付き生成のためのノイズ導入

Variational Flow Maps: Make Some Noise for One-Step Conditional Generation

要旨

Support