SVNR : Élimination du bruit spatialement variable par diffusion de débruitage

SVNR: Spatially-variant Noise Removal with Denoising Diffusion

June 28, 2023

Auteurs: Naama Pearl, Yaron Brodsky, Dana Berman, Assaf Zomet, Alex Rav Acha, Daniel Cohen-Or, Dani Lischinski

cs.AI

Résumé

Les modèles de diffusion débruiteurs ont récemment démontré des résultats impressionnants dans les tâches génératives. En apprenant des a priori puissants à partir de vastes collections d'images d'entraînement, ces modèles sont capables de transformer progressivement un bruit complet en une image naturelle propre via une séquence de petites étapes de débruitage, ce qui semble les rendre bien adaptés au débruitage d'images uniques. Cependant, appliquer efficacement les modèles de diffusion débruiteurs à l'élimination de bruit réaliste est plus complexe qu'il n'y paraît, car leur formulation repose sur un bruit blanc gaussien additif, contrairement au bruit présent dans les images du monde réel. Dans ce travail, nous présentons SVNR, une nouvelle formulation de diffusion débruiteuse qui suppose un modèle de bruit plus réaliste et spatialement variant. SVNR permet d'utiliser l'image bruitée en entrée comme point de départ du processus de diffusion débruiteuse, en plus de conditionner le processus sur celle-ci. À cette fin, nous adaptons le processus de diffusion pour permettre à chaque pixel d'avoir son propre embedding temporel, et proposons des schémas d'entraînement et d'inférence qui prennent en charge des cartes temporelles spatialement variables. Notre formulation tient également compte de la corrélation existante entre l'image de condition et les échantillons le long du processus de diffusion modifié. Dans nos expériences, nous démontrons les avantages de notre approche par rapport à un modèle de diffusion de référence, ainsi qu'à une méthode de débruitage d'images uniques de pointe.

English

Denoising diffusion models have recently shown impressive results in generative tasks. By learning powerful priors from huge collections of training images, such models are able to gradually modify complete noise to a clean natural image via a sequence of small denoising steps, seemingly making them well-suited for single image denoising. However, effectively applying denoising diffusion models to removal of realistic noise is more challenging than it may seem, since their formulation is based on additive white Gaussian noise, unlike noise in real-world images. In this work, we present SVNR, a novel formulation of denoising diffusion that assumes a more realistic, spatially-variant noise model. SVNR enables using the noisy input image as the starting point for the denoising diffusion process, in addition to conditioning the process on it. To this end, we adapt the diffusion process to allow each pixel to have its own time embedding, and propose training and inference schemes that support spatially-varying time maps. Our formulation also accounts for the correlation that exists between the condition image and the samples along the modified diffusion process. In our experiments we demonstrate the advantages of our approach over a strong diffusion model baseline, as well as over a state-of-the-art single image denoising method.