BlurDM: 画像デブラリングのためのブラーディフュージョンモデル

要旨

拡散モデルは動的シーンのぼけ除去に有望であるが、既存研究では拡散モデル内のぼけ生成プロセスの本質的特性を十分に活用できておらず、その真の可能性を制限している。この問題に対処するため、本研究では画像のぼけ除去において、ぼけ生成プロセスを拡散モデルにシームレスに統合したBlur Diffusion Model (BlurDM) を提案する。モーションブラーが連続露光に起因することに着目し、BlurDMは二重拡散順方向スキームを通じて、ノイズとブラーをシャープ画像に拡散させることで、ぼけ生成プロセスを暗黙的にモデル化する。逆生成プロセスでは、二重のノイズ除去・ぼけ除去の定式化を導出し、ぼけ画像を条件とした純粋なガウシアンノイズを入力として、BlurDMがノイズ除去とぼけ除去を同時に行うことでシャープ画像を復元できるようにする。さらに、BlurDMをぼけ除去ネットワークに効率的に統合するため、潜在空間でBlurDMを実行し、ぼけ除去のための柔軟な事前生成ネットワークを構築する。大規模な実験により、BlurDMが4つのベンチマークデータセットにおいて、既存のぼけ除去手法を著しくかつ一貫して改善することが実証された。ソースコードはhttps://github.com/Jin-Ting-He/BlurDMで公開されている。

English

Diffusion models show promise for dynamic scene deblurring; however, existing studies often fail to leverage the intrinsic nature of the blurring process within diffusion models, limiting their full potential. To address it, we present a Blur Diffusion Model (BlurDM), which seamlessly integrates the blur formation process into diffusion for image deblurring. Observing that motion blur stems from continuous exposure, BlurDM implicitly models the blur formation process through a dual-diffusion forward scheme, diffusing both noise and blur onto a sharp image. During the reverse generation process, we derive a dual denoising and deblurring formulation, enabling BlurDM to recover the sharp image by simultaneously denoising and deblurring, given pure Gaussian noise conditioned on the blurred image as input. Additionally, to efficiently integrate BlurDM into deblurring networks, we perform BlurDM in the latent space, forming a flexible prior generation network for deblurring. Extensive experiments demonstrate that BlurDM significantly and consistently enhances existing deblurring methods on four benchmark datasets. The source code is available at https://github.com/Jin-Ting-He/BlurDM.

BlurDM: 画像デブラリングのためのブラーディフュージョンモデル

BlurDM: A Blur Diffusion Model for Image Deblurring

要旨

Support