Ein variationsbasierter Ansatz zur Lösung inverser Probleme mit Diffusionsmodellen

A Variational Perspective on Solving Inverse Problems with Diffusion Models

May 7, 2023

Autoren: Morteza Mardani, Jiaming Song, Jan Kautz, Arash Vahdat

cs.AI

Zusammenfassung

Diffusionsmodelle haben sich als eine zentrale Säule von Foundation-Modellen in visuellen Domänen etabliert. Eine ihrer kritischen Anwendungen besteht darin, verschiedene nachgelagerte inverse Aufgaben universell über einen einzigen Diffusionsprior zu lösen, ohne für jede Aufgabe erneut trainieren zu müssen. Die meisten inversen Aufgaben können als Inferenz einer Posterior-Verteilung über Daten (z. B. ein vollständiges Bild) bei gegebenen Messungen (z. B. ein maskiertes Bild) formuliert werden. Dies ist jedoch in Diffusionsmodellen herausfordernd, da die nichtlineare und iterative Natur des Diffusionsprozesses die Posterior-Verteilung intraktabel macht. Um dieser Herausforderung zu begegnen, schlagen wir einen variationsbasierten Ansatz vor, der von Grund darauf abzielt, die wahre Posterior-Verteilung zu approximieren. Wir zeigen, dass unser Ansatz natürlich zu einer Regularisierung durch den Denoising-Diffusionsprozess (RED-Diff) führt, bei dem Denoiser zu verschiedenen Zeitpunkten gleichzeitig unterschiedliche strukturelle Einschränkungen über das Bild auferlegen. Um den Beitrag von Denoisern aus verschiedenen Zeitpunkten zu bewerten, schlagen wir einen Gewichtungsmechanismus basierend auf dem Signal-Rausch-Verhältnis (SNR) vor. Unser Ansatz bietet eine neue variationsbasierte Perspektive zur Lösung inverser Probleme mit Diffusionsmodellen, wodurch wir das Sampling als stochastische Optimierung formulieren können, bei der man einfach Standardlöser mit leichtgewichtigen Iterationen anwenden kann. Unsere Experimente für Bildrestaurierungsaufgaben wie Inpainting und Superresolution demonstrieren die Stärken unserer Methode im Vergleich zu state-of-the-art sampling-basierten Diffusionsmodellen.

English

Diffusion models have emerged as a key pillar of foundation models in visual domains. One of their critical applications is to universally solve different downstream inverse tasks via a single diffusion prior without re-training for each task. Most inverse tasks can be formulated as inferring a posterior distribution over data (e.g., a full image) given a measurement (e.g., a masked image). This is however challenging in diffusion models since the nonlinear and iterative nature of the diffusion process renders the posterior intractable. To cope with this challenge, we propose a variational approach that by design seeks to approximate the true posterior distribution. We show that our approach naturally leads to regularization by denoising diffusion process (RED-Diff) where denoisers at different timesteps concurrently impose different structural constraints over the image. To gauge the contribution of denoisers from different timesteps, we propose a weighting mechanism based on signal-to-noise-ratio (SNR). Our approach provides a new variational perspective for solving inverse problems with diffusion models, allowing us to formulate sampling as stochastic optimization, where one can simply apply off-the-shelf solvers with lightweight iterates. Our experiments for image restoration tasks such as inpainting and superresolution demonstrate the strengths of our method compared with state-of-the-art sampling-based diffusion models.