Modelos Implícitos de Difusão Restrita

Constrained Diffusion Implicit Models

November 1, 2024

Autores: Vivek Jayaram, Ira Kemelmacher-Shlizerman, Steven M. Seitz, John Thickstun

cs.AI

Resumo

Este artigo descreve um algoritmo eficiente para resolver problemas inversos lineares ruidosos usando modelos de difusão pré-treinados. Estendendo o paradigma dos modelos implícitos de difusão para remoção de ruído (DDIM), propomos modelos implícitos de difusão restritos (CDIM) que modificam as atualizações de difusão para impor uma restrição na saída final. Para problemas inversos sem ruído, o CDIM satisfaz exatamente as restrições; no caso ruidoso, generalizamos o CDIM para satisfazer uma restrição exata na distribuição residual do ruído. Experimentos em uma variedade de tarefas e métricas mostram um desempenho sólido do CDIM, com aceleração de inferência análoga ao DDIM não restrito: de 10 a 50 vezes mais rápido do que métodos de difusão condicional anteriores. Demonstramos a versatilidade de nossa abordagem em muitos problemas, incluindo super-resolução, remoção de ruído, preenchimento, desfocagem e reconstrução de nuvem de pontos 3D.

English

This paper describes an efficient algorithm for solving noisy linear inverse problems using pretrained diffusion models. Extending the paradigm of denoising diffusion implicit models (DDIM), we propose constrained diffusion implicit models (CDIM) that modify the diffusion updates to enforce a constraint upon the final output. For noiseless inverse problems, CDIM exactly satisfies the constraints; in the noisy case, we generalize CDIM to satisfy an exact constraint on the residual distribution of the noise. Experiments across a variety of tasks and metrics show strong performance of CDIM, with analogous inference acceleration to unconstrained DDIM: 10 to 50 times faster than previous conditional diffusion methods. We demonstrate the versatility of our approach on many problems including super-resolution, denoising, inpainting, deblurring, and 3D point cloud reconstruction.