Вариационный подход к решению обратных задач с использованием моделей диффузии

A Variational Perspective on Solving Inverse Problems with Diffusion Models

May 7, 2023

Авторы: Morteza Mardani, Jiaming Song, Jan Kautz, Arash Vahdat

cs.AI

Аннотация

Диффузионные модели стали ключевым элементом фундаментальных моделей в визуальных областях. Одним из их важных применений является универсальное решение различных обратных задач с использованием единого диффузионного априори без необходимости переобучения для каждой задачи. Большинство обратных задач можно сформулировать как вывод апостериорного распределения данных (например, полного изображения) при заданном измерении (например, замаскированном изображении). Однако это представляет сложность в диффузионных моделях, поскольку нелинейный и итеративный характер процесса диффузии делает апостериорное распределение невычислимым. Для преодоления этой проблемы мы предлагаем вариационный подход, который по своей сути стремится аппроксимировать истинное апостериорное распределение. Мы показываем, что наш подход естественным образом приводит к регуляризации с помощью процесса шумоподавления в диффузии (RED-Diff), где денойзеры на разных временных шагах одновременно накладывают различные структурные ограничения на изображение. Для оценки вклада денойзеров на разных временных шагах мы предлагаем механизм взвешивания, основанный на отношении сигнал-шум (SNR). Наш подход предоставляет новый вариационный взгляд на решение обратных задач с использованием диффузионных моделей, позволяя формулировать сэмплирование как стохастическую оптимизацию, где можно применять готовые решатели с легковесными итерациями. Наши эксперименты для задач восстановления изображений, таких как восстановление пропущенных областей и суперразрешение, демонстрируют преимущества нашего метода по сравнению с современными сэмплирующими диффузионными моделями.

English

Diffusion models have emerged as a key pillar of foundation models in visual domains. One of their critical applications is to universally solve different downstream inverse tasks via a single diffusion prior without re-training for each task. Most inverse tasks can be formulated as inferring a posterior distribution over data (e.g., a full image) given a measurement (e.g., a masked image). This is however challenging in diffusion models since the nonlinear and iterative nature of the diffusion process renders the posterior intractable. To cope with this challenge, we propose a variational approach that by design seeks to approximate the true posterior distribution. We show that our approach naturally leads to regularization by denoising diffusion process (RED-Diff) where denoisers at different timesteps concurrently impose different structural constraints over the image. To gauge the contribution of denoisers from different timesteps, we propose a weighting mechanism based on signal-to-noise-ratio (SNR). Our approach provides a new variational perspective for solving inverse problems with diffusion models, allowing us to formulate sampling as stochastic optimization, where one can simply apply off-the-shelf solvers with lightweight iterates. Our experiments for image restoration tasks such as inpainting and superresolution demonstrate the strengths of our method compared with state-of-the-art sampling-based diffusion models.