Débruitage en tant qu'adaptation : adaptation de domaine dans l'espace du bruit pour la restauration d'images

Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration

June 26, 2024

Auteurs: Kang Liao, Zongsheng Yue, Zhouxia Wang, Chen Change Loy

cs.AI

Résumé

Bien que les méthodes de restauration d'images basées sur l'apprentissage aient réalisé des progrès significatifs, elles peinent toujours à généraliser de manière limitée aux scénarios du monde réel en raison de l'écart de domaine substantiel causé par l'entraînement sur des données synthétiques. Les méthodes existantes abordent ce problème en améliorant les pipelines de synthèse de données, en estimant les noyaux de dégradation, en utilisant l'apprentissage interne profond, et en effectuant l'adaptation de domaine et la régularisation. Les méthodes précédentes d'adaptation de domaine ont cherché à combler l'écart de domaine en apprenant des connaissances invariantes de domaine soit dans l'espace des caractéristiques, soit dans l'espace des pixels. Cependant, ces techniques ont souvent du mal à s'étendre aux tâches de vision de bas niveau dans un cadre stable et compact. Dans cet article, nous montrons qu'il est possible d'effectuer une adaptation de domaine via l'espace du bruit en utilisant des modèles de diffusion. En particulier, en exploitant la propriété unique de la manière dont les entrées conditionnelles auxiliaires influencent le processus de débruitage à plusieurs étapes, nous dérivons une perte de diffusion significative qui guide le modèle de restauration dans l'alignement progressif des sorties restaurées synthétiques et du monde réel avec une distribution propre cible. Nous appelons cette méthode débruitage par adaptation. Pour éviter les raccourcis lors de l'entraînement conjoint, nous présentons des stratégies cruciales telles que la couche de permutation de canaux et l'apprentissage contrastif d'échange résiduel dans le modèle de diffusion. Ils brouillent implicitement les frontières entre les données synthétiques conditionnées et réelles et empêchent le modèle de se reposer sur des caractéristiques facilement discernables. Les résultats expérimentaux sur trois tâches classiques de restauration d'images, à savoir le débruitage, le défloutage et le dépluie, démontrent l'efficacité de la méthode proposée.

English

Although learning-based image restoration methods have made significant progress, they still struggle with limited generalization to real-world scenarios due to the substantial domain gap caused by training on synthetic data. Existing methods address this issue by improving data synthesis pipelines, estimating degradation kernels, employing deep internal learning, and performing domain adaptation and regularization. Previous domain adaptation methods have sought to bridge the domain gap by learning domain-invariant knowledge in either feature or pixel space. However, these techniques often struggle to extend to low-level vision tasks within a stable and compact framework. In this paper, we show that it is possible to perform domain adaptation via the noise space using diffusion models. In particular, by leveraging the unique property of how auxiliary conditional inputs influence the multi-step denoising process, we derive a meaningful diffusion loss that guides the restoration model in progressively aligning both restored synthetic and real-world outputs with a target clean distribution. We refer to this method as denoising as adaptation. To prevent shortcuts during joint training, we present crucial strategies such as channel-shuffling layer and residual-swapping contrastive learning in the diffusion model. They implicitly blur the boundaries between conditioned synthetic and real data and prevent the reliance of the model on easily distinguishable features. Experimental results on three classical image restoration tasks, namely denoising, deblurring, and deraining, demonstrate the effectiveness of the proposed method.