Modelos Implícitos de Difusión Restringida

Constrained Diffusion Implicit Models

November 1, 2024

Autores: Vivek Jayaram, Ira Kemelmacher-Shlizerman, Steven M. Seitz, John Thickstun

cs.AI

Resumen

Este documento describe un algoritmo eficiente para resolver problemas inversos lineales ruidosos utilizando modelos de difusión preentrenados. Ampliando el paradigma de los modelos implícitos de difusión para el desruido (DDIM), proponemos modelos implícitos de difusión restringida (CDIM) que modifican las actualizaciones de difusión para hacer cumplir una restricción sobre la salida final. Para problemas inversos sin ruido, CDIM satisface exactamente las restricciones; en el caso ruidoso, generalizamos CDIM para satisfacer una restricción exacta sobre la distribución residual del ruido. Experimentos en una variedad de tareas y métricas muestran un rendimiento sólido de CDIM, con una aceleración de inferencia análoga a DDIM no restringido: de 10 a 50 veces más rápido que los métodos de difusión condicional anteriores. Demostramos la versatilidad de nuestro enfoque en muchos problemas, incluyendo superresolución, desruido, inpainting, desenfoque y reconstrucción de nubes de puntos en 3D.

English

This paper describes an efficient algorithm for solving noisy linear inverse problems using pretrained diffusion models. Extending the paradigm of denoising diffusion implicit models (DDIM), we propose constrained diffusion implicit models (CDIM) that modify the diffusion updates to enforce a constraint upon the final output. For noiseless inverse problems, CDIM exactly satisfies the constraints; in the noisy case, we generalize CDIM to satisfy an exact constraint on the residual distribution of the noise. Experiments across a variety of tasks and metrics show strong performance of CDIM, with analogous inference acceleration to unconstrained DDIM: 10 to 50 times faster than previous conditional diffusion methods. We demonstrate the versatility of our approach on many problems including super-resolution, denoising, inpainting, deblurring, and 3D point cloud reconstruction.