SVNR: Ruisverwijdering met ruimtelijke variatie met behulp van denoising diffusie

SVNR: Spatially-variant Noise Removal with Denoising Diffusion

June 28, 2023

Auteurs: Naama Pearl, Yaron Brodsky, Dana Berman, Assaf Zomet, Alex Rav Acha, Daniel Cohen-Or, Dani Lischinski

cs.AI

Samenvatting

Denoising-diffusiemodellen hebben recent indrukwekkende resultaten getoond bij generatieve taken. Door krachtige a priori te leren uit enorme verzamelingen trainingsafbeeldingen, zijn dergelijke modellen in staat om volledige ruis geleidelijk aan te modificeren naar een schone natuurlijke afbeelding via een reeks kleine denoising-stappen, wat ze ogenschijnlijk geschikt maakt voor denoising van enkele afbeeldingen. Het effectief toepassen van denoising-diffusiemodellen voor het verwijderen van realistische ruis is echter uitdagender dan het lijkt, aangezien hun formulering gebaseerd is op additieve witte Gaussische ruis, in tegenstelling tot ruis in afbeeldingen uit de echte wereld. In dit werk presenteren we SVNR, een nieuwe formulering van denoising-diffusie die uitgaat van een realistischer, ruimtelijk variërend ruismodel. SVNR maakt het mogelijk om de ruisachtige invoerafbeelding als startpunt te gebruiken voor het denoising-diffusieproces, naast het conditioneren van het proces hierop. Hiertoe passen we het diffusieproces aan om elke pixel zijn eigen tijdembedding te laten hebben, en stellen we trainings- en inferentieschema's voor die ruimtelijk variërende tijdkaarten ondersteunen. Onze formulering houdt ook rekening met de correlatie die bestaat tussen de condition-afbeelding en de samples langs het aangepaste diffusieproces. In onze experimenten demonstreren we de voordelen van onze aanpak ten opzichte van een sterke diffusiemodel-baseline, evenals ten opzichte van een state-of-the-art methode voor denoising van enkele afbeeldingen.

English

Denoising diffusion models have recently shown impressive results in generative tasks. By learning powerful priors from huge collections of training images, such models are able to gradually modify complete noise to a clean natural image via a sequence of small denoising steps, seemingly making them well-suited for single image denoising. However, effectively applying denoising diffusion models to removal of realistic noise is more challenging than it may seem, since their formulation is based on additive white Gaussian noise, unlike noise in real-world images. In this work, we present SVNR, a novel formulation of denoising diffusion that assumes a more realistic, spatially-variant noise model. SVNR enables using the noisy input image as the starting point for the denoising diffusion process, in addition to conditioning the process on it. To this end, we adapt the diffusion process to allow each pixel to have its own time embedding, and propose training and inference schemes that support spatially-varying time maps. Our formulation also accounts for the correlation that exists between the condition image and the samples along the modified diffusion process. In our experiments we demonstrate the advantages of our approach over a strong diffusion model baseline, as well as over a state-of-the-art single image denoising method.