Una Prospettiva Variazionale sulla Risoluzione di Problemi Inversi con Modelli di Diffusione

A Variational Perspective on Solving Inverse Problems with Diffusion Models

May 7, 2023

Autori: Morteza Mardani, Jiaming Song, Jan Kautz, Arash Vahdat

cs.AI

Abstract

I modelli di diffusione sono emersi come un pilastro fondamentale dei modelli di base nei domini visivi. Una delle loro applicazioni critiche è risolvere universalmente diverse attività inverse a valle attraverso un singolo prior di diffusione senza dover riaddestrare per ogni compito. La maggior parte delle attività inverse può essere formulata come l'inferenza di una distribuzione a posteriori sui dati (ad esempio, un'immagine completa) dato una misurazione (ad esempio, un'immagine mascherata). Tuttavia, ciò è impegnativo nei modelli di diffusione poiché la natura non lineare e iterativa del processo di diffusione rende la distribuzione a posteriori intrattabile. Per affrontare questa sfida, proponiamo un approccio variazionale che, per progettazione, cerca di approssimare la vera distribuzione a posteriori. Mostriamo che il nostro approccio porta naturalmente a una regolarizzazione mediante il processo di diffusione di denoising (RED-Diff), in cui i denoiser a diversi passaggi temporali impongono contemporaneamente diversi vincoli strutturali sull'immagine. Per valutare il contributo dei denoiser da diversi passaggi temporali, proponiamo un meccanismo di ponderazione basato sul rapporto segnale-rumore (SNR). Il nostro approccio fornisce una nuova prospettiva variazionale per risolvere problemi inversi con modelli di diffusione, permettendoci di formulare il campionamento come un'ottimizzazione stocastica, in cui è possibile applicare semplicemente solutori pronti all'uso con iterazioni leggere. I nostri esperimenti per attività di restauro delle immagini come l'inpainting e la superrisoluzione dimostrano i punti di forza del nostro metodo rispetto ai modelli di diffusione basati su campionamento all'avanguardia.

English

Diffusion models have emerged as a key pillar of foundation models in visual domains. One of their critical applications is to universally solve different downstream inverse tasks via a single diffusion prior without re-training for each task. Most inverse tasks can be formulated as inferring a posterior distribution over data (e.g., a full image) given a measurement (e.g., a masked image). This is however challenging in diffusion models since the nonlinear and iterative nature of the diffusion process renders the posterior intractable. To cope with this challenge, we propose a variational approach that by design seeks to approximate the true posterior distribution. We show that our approach naturally leads to regularization by denoising diffusion process (RED-Diff) where denoisers at different timesteps concurrently impose different structural constraints over the image. To gauge the contribution of denoisers from different timesteps, we propose a weighting mechanism based on signal-to-noise-ratio (SNR). Our approach provides a new variational perspective for solving inverse problems with diffusion models, allowing us to formulate sampling as stochastic optimization, where one can simply apply off-the-shelf solvers with lightweight iterates. Our experiments for image restoration tasks such as inpainting and superresolution demonstrate the strengths of our method compared with state-of-the-art sampling-based diffusion models.