拡散モデルを用いた逆問題解決に対する変分論的視点

A Variational Perspective on Solving Inverse Problems with Diffusion Models

May 7, 2023

著者: Morteza Mardani, Jiaming Song, Jan Kautz, Arash Vahdat

cs.AI

要旨

拡散モデルは、視覚領域における基盤モデルの重要な柱として登場しました。その重要な応用の一つは、個別のタスクごとに再学習することなく、単一の拡散事前分布を用いて様々な下流の逆問題を普遍的に解決することです。ほとんどの逆問題は、測定値（例えばマスクされた画像）が与えられた際のデータ（例えば完全な画像）の事後分布を推論する問題として定式化できます。しかし、拡散モデルでは、拡散プロセスの非線形性と反復性により、事後分布を扱うことが困難です。この課題に対処するため、我々は真の事後分布を近似的に求めることを設計上目指す変分アプローチを提案します。このアプローチは、異なるタイムステップにおけるデノイザーが同時に画像に対して異なる構造的制約を課す、デノイジング拡散プロセスによる正則化（RED-Diff）を自然に導くことを示します。異なるタイムステップのデノイザーの寄与を評価するため、信号対雑音比（SNR）に基づく重み付けメカニズムを提案します。我々のアプローチは、拡散モデルを用いた逆問題解決に対する新しい変分的視点を提供し、サンプリングを確率的最適化として定式化することを可能にします。これにより、軽量な反復で既存のソルバーを簡単に適用できます。インペインティングや超解像などの画像復元タスクにおける実験により、我々の手法が最先端のサンプリングベースの拡散モデルと比較して優れていることを実証しました。

English

Diffusion models have emerged as a key pillar of foundation models in visual domains. One of their critical applications is to universally solve different downstream inverse tasks via a single diffusion prior without re-training for each task. Most inverse tasks can be formulated as inferring a posterior distribution over data (e.g., a full image) given a measurement (e.g., a masked image). This is however challenging in diffusion models since the nonlinear and iterative nature of the diffusion process renders the posterior intractable. To cope with this challenge, we propose a variational approach that by design seeks to approximate the true posterior distribution. We show that our approach naturally leads to regularization by denoising diffusion process (RED-Diff) where denoisers at different timesteps concurrently impose different structural constraints over the image. To gauge the contribution of denoisers from different timesteps, we propose a weighting mechanism based on signal-to-noise-ratio (SNR). Our approach provides a new variational perspective for solving inverse problems with diffusion models, allowing us to formulate sampling as stochastic optimization, where one can simply apply off-the-shelf solvers with lightweight iterates. Our experiments for image restoration tasks such as inpainting and superresolution demonstrate the strengths of our method compared with state-of-the-art sampling-based diffusion models.