FLAIRを用いた逆問題の解法

Solving Inverse Problems with FLAIR

June 3, 2025

著者: Julius Erbach, Dominik Narnhofer, Andreas Dombos, Bernt Schiele, Jan Eric Lenssen, Konrad Schindler

cs.AI

要旨

Stable Diffusion 3のようなフローベースの潜在生成モデルは、驚くべき品質の画像を生成することができ、フォトリアルなテキストから画像への生成さえ可能にします。その印象的な性能は、これらのモデルが逆画像問題においても強力な事前分布として機能すべきであることを示唆していますが、そのアプローチはまだ同等の忠実度を実現していません。これにはいくつかの主要な障害があります：(i) 低次元の潜在空間へのエンコーディングにより、基礎となる（順方向の）マッピングが非線形になること、(ii) データの尤度項が通常扱いにくいこと、(iii) 学習済み生成モデルが推論中に稀で非典型的なデータモードを回復するのに苦労することです。本論文では、フローベース生成モデルを逆問題の事前分布として活用する、新しいトレーニング不要の変分フレームワークであるFLAIRを提案します。そのために、劣化の種類に依存しないフローマッチングのための変分目的関数を導入し、それを非典型的なモードを回復するための決定論的な軌道調整と組み合わせます。観測データとの正確な一貫性を強制するために、データ忠実度項と正則化項の最適化を分離します。さらに、オフラインの精度推定に基づいて正則化の強度を調整する時間依存のキャリブレーションスキームを導入します。標準的な画像ベンチマークでの結果は、FLAIRが再構成品質とサンプルの多様性の両面で、既存の拡散ベースおよびフローベースの方法を一貫して上回ることを示しています。

English

Flow-based latent generative models such as Stable Diffusion 3 are able to generate images with remarkable quality, even enabling photorealistic text-to-image generation. Their impressive performance suggests that these models should also constitute powerful priors for inverse imaging problems, but that approach has not yet led to comparable fidelity. There are several key obstacles: (i) the encoding into a lower-dimensional latent space makes the underlying (forward) mapping non-linear; (ii) the data likelihood term is usually intractable; and (iii) learned generative models struggle to recover rare, atypical data modes during inference. We present FLAIR, a novel training free variational framework that leverages flow-based generative models as a prior for inverse problems. To that end, we introduce a variational objective for flow matching that is agnostic to the type of degradation, and combine it with deterministic trajectory adjustments to recover atypical modes. To enforce exact consistency with the observed data, we decouple the optimization of the data fidelity and regularization terms. Moreover, we introduce a time-dependent calibration scheme in which the strength of the regularization is modulated according to off-line accuracy estimates. Results on standard imaging benchmarks demonstrate that FLAIR consistently outperforms existing diffusion- and flow-based methods in terms of reconstruction quality and sample diversity.