SVNR: Rimozione del rumore spazialmente variante con diffusione di denoising

SVNR: Spatially-variant Noise Removal with Denoising Diffusion

June 28, 2023

Autori: Naama Pearl, Yaron Brodsky, Dana Berman, Assaf Zomet, Alex Rav Acha, Daniel Cohen-Or, Dani Lischinski

cs.AI

Abstract

I modelli di diffusione per il denoising hanno recentemente mostrato risultati impressionanti in compiti generativi. Apprendendo potenti prior da enormi collezioni di immagini di addestramento, tali modelli sono in grado di modificare gradualmente il rumore completo in un'immagine naturale pulita attraverso una sequenza di piccoli passi di denoising, rendendoli apparentemente ben adatti per il denoising di singole immagini. Tuttavia, applicare efficacemente i modelli di diffusione per il denoising alla rimozione di rumore realistico è più impegnativo di quanto possa sembrare, poiché la loro formulazione si basa su rumore bianco gaussiano additivo, a differenza del rumore presente nelle immagini del mondo reale. In questo lavoro, presentiamo SVNR, una nuova formulazione di diffusione per il denoising che assume un modello di rumore più realistico e spazialmente variante. SVNR consente di utilizzare l'immagine rumorosa in ingresso come punto di partenza per il processo di diffusione per il denoising, oltre a condizionare il processo su di essa. A tal fine, adattiamo il processo di diffusione per consentire a ciascun pixel di avere il proprio embedding temporale e proponiamo schemi di addestramento e inferenza che supportano mappe temporali spazialmente varianti. La nostra formulazione tiene anche conto della correlazione esistente tra l'immagine di condizione e i campioni lungo il processo di diffusione modificato. Nei nostri esperimenti dimostriamo i vantaggi del nostro approccio rispetto a un solido modello di diffusione di base, nonché rispetto a un metodo all'avanguardia per il denoising di singole immagini.

English

Denoising diffusion models have recently shown impressive results in generative tasks. By learning powerful priors from huge collections of training images, such models are able to gradually modify complete noise to a clean natural image via a sequence of small denoising steps, seemingly making them well-suited for single image denoising. However, effectively applying denoising diffusion models to removal of realistic noise is more challenging than it may seem, since their formulation is based on additive white Gaussian noise, unlike noise in real-world images. In this work, we present SVNR, a novel formulation of denoising diffusion that assumes a more realistic, spatially-variant noise model. SVNR enables using the noisy input image as the starting point for the denoising diffusion process, in addition to conditioning the process on it. To this end, we adapt the diffusion process to allow each pixel to have its own time embedding, and propose training and inference schemes that support spatially-varying time maps. Our formulation also accounts for the correlation that exists between the condition image and the samples along the modified diffusion process. In our experiments we demonstrate the advantages of our approach over a strong diffusion model baseline, as well as over a state-of-the-art single image denoising method.