Модели с ограниченным диффузионным неявным методом

Constrained Diffusion Implicit Models

November 1, 2024

Авторы: Vivek Jayaram, Ira Kemelmacher-Shlizerman, Steven M. Seitz, John Thickstun

cs.AI

Аннотация

В данной статье описывается эффективный алгоритм решения шумных линейных обратных задач с использованием предварительно обученных моделей диффузии. Расширяя парадигму неявных моделей диффузии для устранения шума (DDIM), мы предлагаем ограниченные неявные модели диффузии (CDIM), которые модифицируют обновления диффузии для накладывания ограничения на конечный вывод. Для обратных задач без шума CDIM точно удовлетворяет ограничениям; в случае наличия шума мы обобщаем CDIM для удовлетворения точного ограничения на распределение остаточного шума. Эксперименты по различным задачам и метрикам показывают высокую производительность CDIM, с аналогичным ускорением вывода по сравнению с неограниченными DDIM: в 10-50 раз быстрее, чем предыдущие условные методы диффузии. Мы демонстрируем универсальность нашего подхода на множестве задач, включая супер-разрешение, устранение шума, заполнение пропусков, размытие и восстановление трехмерных облаков точек.

English

This paper describes an efficient algorithm for solving noisy linear inverse problems using pretrained diffusion models. Extending the paradigm of denoising diffusion implicit models (DDIM), we propose constrained diffusion implicit models (CDIM) that modify the diffusion updates to enforce a constraint upon the final output. For noiseless inverse problems, CDIM exactly satisfies the constraints; in the noisy case, we generalize CDIM to satisfy an exact constraint on the residual distribution of the noise. Experiments across a variety of tasks and metrics show strong performance of CDIM, with analogous inference acceleration to unconstrained DDIM: 10 to 50 times faster than previous conditional diffusion methods. We demonstrate the versatility of our approach on many problems including super-resolution, denoising, inpainting, deblurring, and 3D point cloud reconstruction.