SVNR: Eliminación de Ruido Espacialmente Variante con Difusión de Desruido

SVNR: Spatially-variant Noise Removal with Denoising Diffusion

June 28, 2023

Autores: Naama Pearl, Yaron Brodsky, Dana Berman, Assaf Zomet, Alex Rav Acha, Daniel Cohen-Or, Dani Lischinski

cs.AI

Resumen

Los modelos de difusión para eliminación de ruido han mostrado recientemente resultados impresionantes en tareas generativas. Al aprender potentes distribuciones previas a partir de grandes colecciones de imágenes de entrenamiento, estos modelos son capaces de modificar gradualmente ruido completo para obtener una imagen natural limpia mediante una secuencia de pequeños pasos de eliminación de ruido, lo que aparentemente los hace adecuados para la eliminación de ruido en imágenes individuales. Sin embargo, aplicar efectivamente los modelos de difusión para eliminación de ruido a la eliminación de ruido realista es más desafiante de lo que parece, ya que su formulación se basa en ruido gaussiano blanco aditivo, a diferencia del ruido presente en imágenes del mundo real. En este trabajo, presentamos SVNR, una nueva formulación de difusión para eliminación de ruido que asume un modelo de ruido más realista y espacialmente variable. SVNR permite utilizar la imagen ruidosa de entrada como punto de partida para el proceso de difusión para eliminación de ruido, además de condicionar el proceso en ella. Para ello, adaptamos el proceso de difusión para permitir que cada píxel tenga su propia incrustación temporal, y proponemos esquemas de entrenamiento e inferencia que admiten mapas temporales espacialmente variables. Nuestra formulación también tiene en cuenta la correlación que existe entre la imagen de condición y las muestras a lo largo del proceso de difusión modificado. En nuestros experimentos demostramos las ventajas de nuestro enfoque frente a un modelo de difusión de referencia sólido, así como frente a un método de eliminación de ruido en imágenes individuales de última generación.

English

Denoising diffusion models have recently shown impressive results in generative tasks. By learning powerful priors from huge collections of training images, such models are able to gradually modify complete noise to a clean natural image via a sequence of small denoising steps, seemingly making them well-suited for single image denoising. However, effectively applying denoising diffusion models to removal of realistic noise is more challenging than it may seem, since their formulation is based on additive white Gaussian noise, unlike noise in real-world images. In this work, we present SVNR, a novel formulation of denoising diffusion that assumes a more realistic, spatially-variant noise model. SVNR enables using the noisy input image as the starting point for the denoising diffusion process, in addition to conditioning the process on it. To this end, we adapt the diffusion process to allow each pixel to have its own time embedding, and propose training and inference schemes that support spatially-varying time maps. Our formulation also accounts for the correlation that exists between the condition image and the samples along the modified diffusion process. In our experiments we demonstrate the advantages of our approach over a strong diffusion model baseline, as well as over a state-of-the-art single image denoising method.