BlurDM: 이미지 디블러링을 위한 블러 확산 모델

초록

디퓨전 모델은 동적 영상 디블러링에 유용한 가능성을 보여주지만, 기존 연구들은 종종 디퓨전 모델 내 블러 형성 과정의 본질적 특성을 충분히 활용하지 못해 그 잠재력이 제한되는 경우가 많습니다. 이를 해결하기 위해 우리는 블러 형성 과정을 디퓨전에 자연스럽게 통합한 블러 디퓨전 모델(BlurDM)을 제안합니다. 모션 블러가 연속적인 노출에서 비롯된다는 점에 착안하여, BlurDM은 이중 디퓨전 순방향 기법을 통해 노이즈와 블러를 동시에 선명한 영상에 확산시킴으로써 블러 형성 과정을 암묵적으로 모델링합니다. 역생성 과정에서는 순수 가우시안 노이즈를 블러 영상 조건으로 입력하여, BlurDM이 노이즈 제거와 디블러링을 동시에 수행하며 선명한 영상을 복원할 수 있는 이중 노이즈 제거 및 디블러링 공식을 도출했습니다. 또한 BlurDM을 디블러링 네트워크에 효율적으로 통합하기 위해 잠재 공간에서 BlurDM을 수행함으로써 유연한 사전 생성 네트워크를 구성합니다. 다양한 실험을 통해 BlurDM이 4개의 벤치마크 데이터셋에서 기존 디블러링 방법들을 지속적이고 현저히 향상시킴을 입증했습니다. 소스 코드는 https://github.com/Jin-Ting-He/BlurDM에서 확인할 수 있습니다.

English

Diffusion models show promise for dynamic scene deblurring; however, existing studies often fail to leverage the intrinsic nature of the blurring process within diffusion models, limiting their full potential. To address it, we present a Blur Diffusion Model (BlurDM), which seamlessly integrates the blur formation process into diffusion for image deblurring. Observing that motion blur stems from continuous exposure, BlurDM implicitly models the blur formation process through a dual-diffusion forward scheme, diffusing both noise and blur onto a sharp image. During the reverse generation process, we derive a dual denoising and deblurring formulation, enabling BlurDM to recover the sharp image by simultaneously denoising and deblurring, given pure Gaussian noise conditioned on the blurred image as input. Additionally, to efficiently integrate BlurDM into deblurring networks, we perform BlurDM in the latent space, forming a flexible prior generation network for deblurring. Extensive experiments demonstrate that BlurDM significantly and consistently enhances existing deblurring methods on four benchmark datasets. The source code is available at https://github.com/Jin-Ting-He/BlurDM.

BlurDM: 이미지 디블러링을 위한 블러 확산 모델

BlurDM: A Blur Diffusion Model for Image Deblurring

초록

Support