SVNR: Remoção de Ruído Espacialmente Variante com Difusão de Desruído

SVNR: Spatially-variant Noise Removal with Denoising Diffusion

June 28, 2023

Autores: Naama Pearl, Yaron Brodsky, Dana Berman, Assaf Zomet, Alex Rav Acha, Daniel Cohen-Or, Dani Lischinski

cs.AI

Resumo

Modelos de difusão de denoização têm mostrado recentemente resultados impressionantes em tarefas generativas. Ao aprender priors poderosos a partir de grandes coleções de imagens de treinamento, esses modelos são capazes de modificar gradualmente ruído completo para uma imagem natural limpa por meio de uma sequência de pequenos passos de denoização, aparentemente tornando-os bem adequados para a denoização de imagens únicas. No entanto, aplicar efetivamente modelos de difusão de denoização para a remoção de ruído realista é mais desafiador do que pode parecer, uma vez que sua formulação é baseada em ruído gaussiano branco aditivo, ao contrário do ruído em imagens do mundo real. Neste trabalho, apresentamos o SVNR, uma nova formulação de difusão de denoização que assume um modelo de ruído mais realista e espacialmente variante. O SVNR permite usar a imagem de entrada ruidosa como ponto de partida para o processo de difusão de denoização, além de condicionar o processo nela. Para isso, adaptamos o processo de difusão para permitir que cada pixel tenha sua própria incorporação temporal e propomos esquemas de treinamento e inferência que suportam mapas temporais espacialmente variantes. Nossa formulação também leva em consideração a correlação que existe entre a imagem de condição e as amostras ao longo do processo de difusão modificado. Em nossos experimentos, demonstramos as vantagens de nossa abordagem em relação a uma linha de base forte de modelo de difusão, bem como em relação a um método de denoização de imagem única estado da arte.

English

Denoising diffusion models have recently shown impressive results in generative tasks. By learning powerful priors from huge collections of training images, such models are able to gradually modify complete noise to a clean natural image via a sequence of small denoising steps, seemingly making them well-suited for single image denoising. However, effectively applying denoising diffusion models to removal of realistic noise is more challenging than it may seem, since their formulation is based on additive white Gaussian noise, unlike noise in real-world images. In this work, we present SVNR, a novel formulation of denoising diffusion that assumes a more realistic, spatially-variant noise model. SVNR enables using the noisy input image as the starting point for the denoising diffusion process, in addition to conditioning the process on it. To this end, we adapt the diffusion process to allow each pixel to have its own time embedding, and propose training and inference schemes that support spatially-varying time maps. Our formulation also accounts for the correlation that exists between the condition image and the samples along the modified diffusion process. In our experiments we demonstrate the advantages of our approach over a strong diffusion model baseline, as well as over a state-of-the-art single image denoising method.