SVNR: Räumlich variante Rauschunterdrückung mit Denoising-Diffusion

SVNR: Spatially-variant Noise Removal with Denoising Diffusion

June 28, 2023

Autoren: Naama Pearl, Yaron Brodsky, Dana Berman, Assaf Zomet, Alex Rav Acha, Daniel Cohen-Or, Dani Lischinski

cs.AI

Zusammenfassung

Denoising-Diffusionsmodelle haben kürzlich beeindruckende Ergebnisse bei generativen Aufgaben gezeigt. Indem sie mächtige Prioritäten aus umfangreichen Sammlungen von Trainingsbildern lernen, sind solche Modelle in der Lage, vollständiges Rauschen schrittweise über eine Sequenz kleiner Denoising-Schritte in ein sauberes natürliches Bild zu verwandeln, was sie scheinbar gut für die Einzelbild-Rauschunterdrückung geeignet macht. Die effektive Anwendung von Denoising-Diffusionsmodellen zur Entfernung realistischen Rauschens ist jedoch schwieriger, als es zunächst erscheinen mag, da ihre Formulierung auf additivem weißem Gaußschen Rauschen basiert, im Gegensatz zum Rauschen in realen Bildern. In dieser Arbeit präsentieren wir SVNR, eine neuartige Formulierung des Denoising-Diffusionsprozesses, die ein realistischeres, räumlich variantes Rauschmodell annimmt. SVNR ermöglicht es, das verrauschte Eingabebild als Ausgangspunkt für den Denoising-Diffusionsprozess zu verwenden, zusätzlich zur Konditionierung des Prozesses darauf. Zu diesem Zweck passen wir den Diffusionsprozess an, um jedem Pixel seine eigene Zeit-Einbettung zu ermöglichen, und schlagen Trainings- und Inferenzschemata vor, die räumlich variierende Zeitkarten unterstützen. Unsere Formulierung berücksichtigt auch die Korrelation, die zwischen dem Konditionsbild und den Proben entlang des modifizierten Diffusionsprozesses besteht. In unseren Experimenten demonstrieren wir die Vorteile unseres Ansatzes gegenüber einem starken Diffusionsmodell-Baseline sowie gegenüber einer state-of-the-art Methode zur Einzelbild-Rauschunterdrückung.

English

Denoising diffusion models have recently shown impressive results in generative tasks. By learning powerful priors from huge collections of training images, such models are able to gradually modify complete noise to a clean natural image via a sequence of small denoising steps, seemingly making them well-suited for single image denoising. However, effectively applying denoising diffusion models to removal of realistic noise is more challenging than it may seem, since their formulation is based on additive white Gaussian noise, unlike noise in real-world images. In this work, we present SVNR, a novel formulation of denoising diffusion that assumes a more realistic, spatially-variant noise model. SVNR enables using the noisy input image as the starting point for the denoising diffusion process, in addition to conditioning the process on it. To this end, we adapt the diffusion process to allow each pixel to have its own time embedding, and propose training and inference schemes that support spatially-varying time maps. Our formulation also accounts for the correlation that exists between the condition image and the samples along the modified diffusion process. In our experiments we demonstrate the advantages of our approach over a strong diffusion model baseline, as well as over a state-of-the-art single image denoising method.