AdaIR: Restauração de Imagem Adaptativa Tudo-em-Um via Mineração de Frequência e Modulação

AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

March 21, 2024

Autores: Yuning Cui, Syed Waqas Zamir, Salman Khan, Alois Knoll, Mubarak Shah, Fahad Shahbaz Khan

cs.AI

Resumo

No processo de aquisição de imagens, várias formas de degradação, incluindo ruído, neblina e chuva, são frequentemente introduzidas. Essas degradações geralmente surgem das limitações inerentes das câmeras ou de condições ambientais desfavoráveis. Para recuperar imagens limpas a partir de versões degradadas, inúmeros métodos especializados de restauração foram desenvolvidos, cada um visando um tipo específico de degradação. Recentemente, algoritmos "tudo-em-um" têm recebido atenção significativa ao abordar diferentes tipos de degradações dentro de um único modelo sem exigir informações prévias sobre o tipo de degradação de entrada. No entanto, esses métodos operam puramente no domínio espacial e não exploram as distintas variações de frequência inerentes a diferentes tipos de degradação. Para abordar essa lacuna, propomos uma rede adaptativa de restauração de imagens "tudo-em-um" baseada em mineração e modulação de frequência. Nossa abordagem é motivada pela observação de que diferentes tipos de degradação impactam o conteúdo da imagem em diferentes subfaixas de frequência, exigindo tratamentos distintos para cada tarefa de restauração. Especificamente, primeiro extraímos informações de baixa e alta frequência dos recursos de entrada, guiados pelos espectros adaptativamente desacoplados da imagem degradada. As características extraídas são então moduladas por um operador bidirecional para facilitar interações entre diferentes componentes de frequência. Por fim, as características moduladas são mescladas ao input original para uma restauração progressivamente guiada. Com essa abordagem, o modelo alcança uma reconstrução adaptativa ao enfatizar as subfaixas de frequência informativas de acordo com diferentes degradações de entrada. Experimentos extensivos demonstram que o método proposto alcança desempenho de ponta em diferentes tarefas de restauração de imagem, incluindo remoção de ruído, desembaçamento, remoção de chuva, desfocagem de movimento e melhoria de imagens com pouca luz. Nosso código está disponível em https://github.com/c-yn/AdaIR.

English

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.