Een Variatieperspectief op het Oplossen van Inverse Problemen met Diffusiemodellen

A Variational Perspective on Solving Inverse Problems with Diffusion Models

May 7, 2023

Auteurs: Morteza Mardani, Jiaming Song, Jan Kautz, Arash Vahdat

cs.AI

Samenvatting

Diffusiemodellen zijn uitgegroeid tot een belangrijke pijler van foundation-modellen in visuele domeinen. Een van hun cruciale toepassingen is het universeel oplossen van verschillende downstream inverse taken via een enkele diffusieprior zonder hertraining voor elke taak. De meeste inverse taken kunnen worden geformuleerd als het afleiden van een posteriorverdeling over data (bijvoorbeeld een volledige afbeelding) gegeven een meting (bijvoorbeeld een gemaskeerde afbeelding). Dit is echter uitdagend in diffusiemodellen, aangezien de niet-lineaire en iteratieve aard van het diffusieproces de posterior onhanteerbaar maakt. Om deze uitdaging het hoofd te bieden, stellen we een variatiebenadering voor die bij ontwerp streeft naar een benadering van de ware posteriorverdeling. We laten zien dat onze benadering van nature leidt tot regularisatie door een denoiseringsdiffusieproces (RED-Diff), waarbij denoisers op verschillende tijdstappen gelijktijdig verschillende structurele beperkingen opleggen aan de afbeelding. Om de bijdrage van denoisers van verschillende tijdstappen te beoordelen, stellen we een weegmechanisme voor op basis van signaal-ruisverhouding (SNR). Onze benadering biedt een nieuw variatieperspectief voor het oplossen van inverse problemen met diffusiemodellen, waardoor we sampling kunnen formuleren als stochastische optimalisatie, waarbij men eenvoudig kant-en-klare oplossers kan toepassen met lichtgewicht iteraties. Onze experimenten voor beeldhersteltaken zoals inpainting en superresolutie demonstreren de kracht van onze methode in vergelijking met state-of-the-art sampling-gebaseerde diffusiemodellen.

English

Diffusion models have emerged as a key pillar of foundation models in visual domains. One of their critical applications is to universally solve different downstream inverse tasks via a single diffusion prior without re-training for each task. Most inverse tasks can be formulated as inferring a posterior distribution over data (e.g., a full image) given a measurement (e.g., a masked image). This is however challenging in diffusion models since the nonlinear and iterative nature of the diffusion process renders the posterior intractable. To cope with this challenge, we propose a variational approach that by design seeks to approximate the true posterior distribution. We show that our approach naturally leads to regularization by denoising diffusion process (RED-Diff) where denoisers at different timesteps concurrently impose different structural constraints over the image. To gauge the contribution of denoisers from different timesteps, we propose a weighting mechanism based on signal-to-noise-ratio (SNR). Our approach provides a new variational perspective for solving inverse problems with diffusion models, allowing us to formulate sampling as stochastic optimization, where one can simply apply off-the-shelf solvers with lightweight iterates. Our experiments for image restoration tasks such as inpainting and superresolution demonstrate the strengths of our method compared with state-of-the-art sampling-based diffusion models.