Remoção de Ruído como Adaptação: Adaptação de Domínio de Espaço de Ruído para Restauração de Imagens

Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration

June 26, 2024

Autores: Kang Liao, Zongsheng Yue, Zhouxia Wang, Chen Change Loy

cs.AI

Resumo

Embora os métodos de restauração de imagem baseados em aprendizado tenham avançado significativamente, ainda enfrentam dificuldades na generalização limitada para cenários do mundo real devido à grande diferença de domínio causada pelo treinamento em dados sintéticos. Métodos existentes abordam essa questão melhorando os pipelines de síntese de dados, estimando kernels de degradação, empregando aprendizado interno profundo e realizando adaptação de domínio e regularização. Métodos anteriores de adaptação de domínio buscaram reduzir a diferença de domínio aprendendo conhecimento invariante de domínio no espaço de características ou de pixels. No entanto, essas técnicas frequentemente enfrentam dificuldades para se estender a tarefas de visão de baixo nível dentro de um framework estável e compacto. Neste artigo, demonstramos que é possível realizar adaptação de domínio por meio do espaço de ruído usando modelos de difusão. Em particular, ao aproveitar a propriedade única de como entradas condicionais auxiliares influenciam o processo de remoção de ruído em várias etapas, derivamos uma perda de difusão significativa que orienta o modelo de restauração na progressiva alinhamento de saídas restauradas sintéticas e do mundo real com uma distribuição limpa alvo. Referimo-nos a este método como adaptação por remoção de ruído. Para evitar atalhos durante o treinamento conjunto, apresentamos estratégias cruciais, como camada de reorganização de canais e aprendizado contrastivo de troca residual no modelo de difusão. Elas borram implicitamente as fronteiras entre dados sintéticos condicionados e reais e impedem a dependência do modelo em características facilmente distinguíveis. Resultados experimentais em três tarefas clássicas de restauração de imagem, a saber, remoção de ruído, desfocagem e remoção de chuva, demonstram a eficácia do método proposto.

English

Although learning-based image restoration methods have made significant progress, they still struggle with limited generalization to real-world scenarios due to the substantial domain gap caused by training on synthetic data. Existing methods address this issue by improving data synthesis pipelines, estimating degradation kernels, employing deep internal learning, and performing domain adaptation and regularization. Previous domain adaptation methods have sought to bridge the domain gap by learning domain-invariant knowledge in either feature or pixel space. However, these techniques often struggle to extend to low-level vision tasks within a stable and compact framework. In this paper, we show that it is possible to perform domain adaptation via the noise space using diffusion models. In particular, by leveraging the unique property of how auxiliary conditional inputs influence the multi-step denoising process, we derive a meaningful diffusion loss that guides the restoration model in progressively aligning both restored synthetic and real-world outputs with a target clean distribution. We refer to this method as denoising as adaptation. To prevent shortcuts during joint training, we present crucial strategies such as channel-shuffling layer and residual-swapping contrastive learning in the diffusion model. They implicitly blur the boundaries between conditioned synthetic and real data and prevent the reliance of the model on easily distinguishable features. Experimental results on three classical image restoration tasks, namely denoising, deblurring, and deraining, demonstrate the effectiveness of the proposed method.