SVNR: 空間変動ノイズ除去を伴うデノイジング拡散法
SVNR: Spatially-variant Noise Removal with Denoising Diffusion
June 28, 2023
著者: Naama Pearl, Yaron Brodsky, Dana Berman, Assaf Zomet, Alex Rav Acha, Daniel Cohen-Or, Dani Lischinski
cs.AI
要旨
ノイズ除去拡散モデルは最近、生成タスクにおいて印象的な結果を示しています。膨大な訓練画像コレクションから強力な事前分布を学習することで、このようなモデルは完全なノイズをクリーンな自然画像へと一連の小さなノイズ除去ステップを経て徐々に変換することができ、単一画像のノイズ除去に適しているように見えます。しかし、ノイズ除去拡散モデルを現実的なノイズの除去に効果的に適用することは、その定式化が現実世界の画像のノイズとは異なる加法性白色ガウスノイズに基づいているため、一見した以上に困難です。本研究では、より現実的な空間的に変化するノイズモデルを仮定した、ノイズ除去拡散の新しい定式化であるSVNRを提案します。SVNRは、ノイズ除去拡散プロセスの開始点としてノイジーな入力画像を使用することを可能にし、さらにそのプロセスを条件付けることも可能にします。この目的のために、各ピクセルが独自の時間埋め込みを持つことを可能にするように拡散プロセスを適応させ、空間的に変化する時間マップをサポートする訓練と推論のスキームを提案します。また、提案する定式化は、条件画像と修正された拡散プロセスに沿ったサンプル間に存在する相関も考慮しています。実験では、強力な拡散モデルのベースラインおよび最先端の単一画像ノイズ除去手法に対する本アプローチの優位性を実証しています。
English
Denoising diffusion models have recently shown impressive results in
generative tasks. By learning powerful priors from huge collections of training
images, such models are able to gradually modify complete noise to a clean
natural image via a sequence of small denoising steps, seemingly making them
well-suited for single image denoising. However, effectively applying denoising
diffusion models to removal of realistic noise is more challenging than it may
seem, since their formulation is based on additive white Gaussian noise, unlike
noise in real-world images. In this work, we present SVNR, a novel formulation
of denoising diffusion that assumes a more realistic, spatially-variant noise
model. SVNR enables using the noisy input image as the starting point for the
denoising diffusion process, in addition to conditioning the process on it. To
this end, we adapt the diffusion process to allow each pixel to have its own
time embedding, and propose training and inference schemes that support
spatially-varying time maps. Our formulation also accounts for the correlation
that exists between the condition image and the samples along the modified
diffusion process. In our experiments we demonstrate the advantages of our
approach over a strong diffusion model baseline, as well as over a
state-of-the-art single image denoising method.