SVNR: 공간적 변이 노이즈 제거를 위한 디노이징 디퓨전
SVNR: Spatially-variant Noise Removal with Denoising Diffusion
June 28, 2023
저자: Naama Pearl, Yaron Brodsky, Dana Berman, Assaf Zomet, Alex Rav Acha, Daniel Cohen-Or, Dani Lischinski
cs.AI
초록
노이즈 제거 확산 모델은 최근 생성 작업에서 인상적인 결과를 보여주고 있다. 방대한 양의 훈련 이미지 컬렉션으로부터 강력한 사전 정보를 학습함으로써, 이러한 모델들은 완전한 노이즈를 깨끗한 자연 이미지로 점진적으로 변환하는 일련의 작은 노이즈 제거 단계를 통해 단일 이미지 노이즈 제거에 적합해 보인다. 그러나, 노이즈 제거 확산 모델을 현실적인 노이즈 제거에 효과적으로 적용하는 것은 생각보다 더 어려운 과제이다. 이는 이러한 모델들의 공식화가 실제 세계 이미지의 노이즈와 달리 가산적 백색 가우시안 노이즈를 기반으로 하기 때문이다. 본 연구에서는 보다 현실적인 공간적으로 변이하는 노이즈 모델을 가정한 새로운 노이즈 제거 확산 공식화인 SVNR을 제안한다. SVNR은 노이즈가 있는 입력 이미지를 노이즈 제거 확산 과정의 시작점으로 사용할 수 있게 할 뿐만 아니라, 이 과정을 조건화할 수 있게 한다. 이를 위해, 각 픽셀이 자신만의 시간 임베딩을 가질 수 있도록 확산 과정을 조정하고, 공간적으로 변이하는 시간 맵을 지원하는 훈련 및 추론 방식을 제안한다. 또한, 본 공식화는 수정된 확산 과정을 따라 조건 이미지와 샘플 간에 존재하는 상관관계를 고려한다. 실험을 통해 우리의 접근 방식이 강력한 확산 모델 기준선뿐만 아니라 최신 단일 이미지 노이즈 제거 방법보다 우수함을 입증한다.
English
Denoising diffusion models have recently shown impressive results in
generative tasks. By learning powerful priors from huge collections of training
images, such models are able to gradually modify complete noise to a clean
natural image via a sequence of small denoising steps, seemingly making them
well-suited for single image denoising. However, effectively applying denoising
diffusion models to removal of realistic noise is more challenging than it may
seem, since their formulation is based on additive white Gaussian noise, unlike
noise in real-world images. In this work, we present SVNR, a novel formulation
of denoising diffusion that assumes a more realistic, spatially-variant noise
model. SVNR enables using the noisy input image as the starting point for the
denoising diffusion process, in addition to conditioning the process on it. To
this end, we adapt the diffusion process to allow each pixel to have its own
time embedding, and propose training and inference schemes that support
spatially-varying time maps. Our formulation also accounts for the correlation
that exists between the condition image and the samples along the modified
diffusion process. In our experiments we demonstrate the advantages of our
approach over a strong diffusion model baseline, as well as over a
state-of-the-art single image denoising method.