適応としてのノイズ除去：画像復元のためのノイズ空間ドメイン適応

Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration

June 26, 2024

著者: Kang Liao, Zongsheng Yue, Zhouxia Wang, Chen Change Loy

cs.AI

要旨

学習ベースの画像修復手法は大きな進展を遂げてきましたが、合成データでのトレーニングによって引き起こされる実世界シナリオへの限定的な汎化性の欠如により、実際の状況に対応するのに苦労しています。既存の手法は、データ合成パイプラインの改善、劣化カーネルの推定、深層内部学習の利用、ドメイン適応および正則化を行うことで、この問題に対処しています。これまでのドメイン適応手法は、特徴空間またはピクセル空間のいずれかでドメイン不変の知識を学習することによって、ドメイン間のギャップを埋めることを目指してきました。しかし、これらの手法は、安定かつコンパクトなフレームワーク内で低レベルビジョンタスクに拡張するのにしばしば苦労します。本論文では、拡散モデルを使用してノイズ空間を介したドメイン適応が可能であることを示します。特に、補助条件入力が複数ステップのノイズ除去プロセスにどのように影響を与えるかという独自の特性を活用することで、修復モデルを導く有意義な拡散損失を導出し、修復された合成および実世界の出力を目標のクリーン分布と段階的に整合させる手法を提案します。この手法を適応ノイズ除去と呼びます。共同トレーニング中のショートカットを防ぐために、チャネルシャッフリング層や残差スワッピングコントラスティブラーニングなどの重要な戦略を拡散モデルに提示します。これらは、条件付き合成データと実データの境界をぼかし、モデルが簡単に区別可能な特徴に依存するのを防ぎます。ノイズ除去、ぼかし除去、雨除去という3つの古典的な画像修復タスクに対する実験結果は、提案手法の効果を示しています。

English

Although learning-based image restoration methods have made significant progress, they still struggle with limited generalization to real-world scenarios due to the substantial domain gap caused by training on synthetic data. Existing methods address this issue by improving data synthesis pipelines, estimating degradation kernels, employing deep internal learning, and performing domain adaptation and regularization. Previous domain adaptation methods have sought to bridge the domain gap by learning domain-invariant knowledge in either feature or pixel space. However, these techniques often struggle to extend to low-level vision tasks within a stable and compact framework. In this paper, we show that it is possible to perform domain adaptation via the noise space using diffusion models. In particular, by leveraging the unique property of how auxiliary conditional inputs influence the multi-step denoising process, we derive a meaningful diffusion loss that guides the restoration model in progressively aligning both restored synthetic and real-world outputs with a target clean distribution. We refer to this method as denoising as adaptation. To prevent shortcuts during joint training, we present crucial strategies such as channel-shuffling layer and residual-swapping contrastive learning in the diffusion model. They implicitly blur the boundaries between conditioned synthetic and real data and prevent the reliance of the model on easily distinguishable features. Experimental results on three classical image restoration tasks, namely denoising, deblurring, and deraining, demonstrate the effectiveness of the proposed method.