BlurDM : Un modèle de diffusion par flou pour la restauration d'images

papers.abstract

Les modèles de diffusion montrent un potentiel pour le débruitage dynamique des scènes ; cependant, les études existantes ne parviennent souvent pas à exploiter la nature intrinsèque du processus de flou au sein des modèles de diffusion, limitant ainsi leur plein potentiel. Pour résoudre ce problème, nous présentons un modèle de diffusion de flou (BlurDM), qui intègre de manière transparente le processus de formation du flou dans la diffusion pour le débruitage d'image. En observant que le flou de mouvement provient d'une exposition continue, BlurDM modélise implicitement le processus de formation du flou grâce à un schéma avant de double diffusion, diffusant à la fois le bruit et le flou sur une image nette. Durant le processus de génération inverse, nous dérivons une formulation de double débruitage et de défloutage, permettant à BlurDM de restaurer l'image nette en débruitant et défloutant simultanément, à partir d'un bruit gaussien pur conditionné par l'image floue en entrée. De plus, pour intégrer efficacement BlurDM dans les réseaux de défloutage, nous exécutons BlurDM dans l'espace latent, formant un réseau de génération de prior flexible pour le défloutage. Des expériences approfondies démontrent que BlurDM améliore significativement et constamment les méthodes de défloutage existantes sur quatre ensembles de données de référence. Le code source est disponible à l'adresse https://github.com/Jin-Ting-He/BlurDM.

English

Diffusion models show promise for dynamic scene deblurring; however, existing studies often fail to leverage the intrinsic nature of the blurring process within diffusion models, limiting their full potential. To address it, we present a Blur Diffusion Model (BlurDM), which seamlessly integrates the blur formation process into diffusion for image deblurring. Observing that motion blur stems from continuous exposure, BlurDM implicitly models the blur formation process through a dual-diffusion forward scheme, diffusing both noise and blur onto a sharp image. During the reverse generation process, we derive a dual denoising and deblurring formulation, enabling BlurDM to recover the sharp image by simultaneously denoising and deblurring, given pure Gaussian noise conditioned on the blurred image as input. Additionally, to efficiently integrate BlurDM into deblurring networks, we perform BlurDM in the latent space, forming a flexible prior generation network for deblurring. Extensive experiments demonstrate that BlurDM significantly and consistently enhances existing deblurring methods on four benchmark datasets. The source code is available at https://github.com/Jin-Ting-He/BlurDM.

BlurDM : Un modèle de diffusion par flou pour la restauration d'images

BlurDM: A Blur Diffusion Model for Image Deblurring

papers.abstract

Support