Uma Perspectiva Variacional sobre a Resolução de Problemas Inversos com Modelos de Difusão

A Variational Perspective on Solving Inverse Problems with Diffusion Models

May 7, 2023

Autores: Morteza Mardani, Jiaming Song, Jan Kautz, Arash Vahdat

cs.AI

Resumo

Os modelos de difusão emergiram como um pilar fundamental dos modelos base em domínios visuais. Uma de suas aplicações críticas é resolver universalmente diferentes tarefas inversas de downstream por meio de um único prior de difusão, sem a necessidade de retreinamento para cada tarefa. A maioria das tarefas inversas pode ser formulada como a inferência de uma distribuição posterior sobre os dados (por exemplo, uma imagem completa) dada uma medição (por exemplo, uma imagem mascarada). No entanto, isso é desafiador em modelos de difusão, pois a natureza não linear e iterativa do processo de difusão torna a posterior intratável. Para lidar com esse desafio, propomos uma abordagem variacional que, por design, busca aproximar a verdadeira distribuição posterior. Mostramos que nossa abordagem naturalmente leva à regularização pelo processo de difusão de remoção de ruído (RED-Diff), onde desruidificadores em diferentes intervalos de tempo impõem simultaneamente diferentes restrições estruturais sobre a imagem. Para avaliar a contribuição dos desruidificadores em diferentes intervalos de tempo, propomos um mecanismo de ponderação baseado na relação sinal-ruído (SNR). Nossa abordagem oferece uma nova perspectiva variacional para resolver problemas inversos com modelos de difusão, permitindo-nos formular a amostragem como uma otimização estocástica, onde se pode simplesmente aplicar solvers prontos para uso com iterações leves. Nossos experimentos para tarefas de restauração de imagem, como preenchimento e super-resolução, demonstram as vantagens de nosso método em comparação com os modelos de difusão baseados em amostragem mais avançados.

English

Diffusion models have emerged as a key pillar of foundation models in visual domains. One of their critical applications is to universally solve different downstream inverse tasks via a single diffusion prior without re-training for each task. Most inverse tasks can be formulated as inferring a posterior distribution over data (e.g., a full image) given a measurement (e.g., a masked image). This is however challenging in diffusion models since the nonlinear and iterative nature of the diffusion process renders the posterior intractable. To cope with this challenge, we propose a variational approach that by design seeks to approximate the true posterior distribution. We show that our approach naturally leads to regularization by denoising diffusion process (RED-Diff) where denoisers at different timesteps concurrently impose different structural constraints over the image. To gauge the contribution of denoisers from different timesteps, we propose a weighting mechanism based on signal-to-noise-ratio (SNR). Our approach provides a new variational perspective for solving inverse problems with diffusion models, allowing us to formulate sampling as stochastic optimization, where one can simply apply off-the-shelf solvers with lightweight iterates. Our experiments for image restoration tasks such as inpainting and superresolution demonstrate the strengths of our method compared with state-of-the-art sampling-based diffusion models.