SVNR: Пространственно-вариативное удаление шума с использованием денизинга на основе диффузии

SVNR: Spatially-variant Noise Removal with Denoising Diffusion

June 28, 2023

Авторы: Naama Pearl, Yaron Brodsky, Dana Berman, Assaf Zomet, Alex Rav Acha, Daniel Cohen-Or, Dani Lischinski

cs.AI

Аннотация

Денойзинговые диффузионные модели недавно продемонстрировали впечатляющие результаты в генеративных задачах. Обучаясь на мощных априорных знаниях, извлеченных из огромных коллекций тренировочных изображений, такие модели способны постепенно преобразовывать полный шум в чистое натуральное изображение через последовательность небольших шагов денойзинга, что делает их, казалось бы, хорошо подходящими для задачи денойзинга одиночных изображений. Однако эффективное применение денойзинговых диффузионных моделей для удаления реалистичного шума является более сложной задачей, чем может показаться, поскольку их формулировка основана на аддитивном белом гауссовом шуме, в отличие от шума в реальных изображениях. В данной работе мы представляем SVNR, новую формулировку денойзинговой диффузии, которая предполагает более реалистичную, пространственно-вариативную модель шума. SVNR позволяет использовать зашумленное входное изображение в качестве начальной точки для процесса денойзинговой диффузии, а также учитывать его в качестве условия для этого процесса. Для этого мы адаптируем процесс диффузии, чтобы каждый пиксель мог иметь собственное временное представление, и предлагаем схемы обучения и вывода, поддерживающие пространственно-вариативные временные карты. Наша формулировка также учитывает корреляцию, существующую между условием изображения и образцами вдоль модифицированного процесса диффузии. В наших экспериментах мы демонстрируем преимущества нашего подхода по сравнению с сильной базовой диффузионной моделью, а также с современным методом денойзинга одиночных изображений.

English

Denoising diffusion models have recently shown impressive results in generative tasks. By learning powerful priors from huge collections of training images, such models are able to gradually modify complete noise to a clean natural image via a sequence of small denoising steps, seemingly making them well-suited for single image denoising. However, effectively applying denoising diffusion models to removal of realistic noise is more challenging than it may seem, since their formulation is based on additive white Gaussian noise, unlike noise in real-world images. In this work, we present SVNR, a novel formulation of denoising diffusion that assumes a more realistic, spatially-variant noise model. SVNR enables using the noisy input image as the starting point for the denoising diffusion process, in addition to conditioning the process on it. To this end, we adapt the diffusion process to allow each pixel to have its own time embedding, and propose training and inference schemes that support spatially-varying time maps. Our formulation also accounts for the correlation that exists between the condition image and the samples along the modified diffusion process. In our experiments we demonstrate the advantages of our approach over a strong diffusion model baseline, as well as over a state-of-the-art single image denoising method.