AdaIR: Restauración de Imágenes Adaptativa Todo en Uno a través de la Minería de Frecuencias y Modulación

AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

March 21, 2024

Autores: Yuning Cui, Syed Waqas Zamir, Salman Khan, Alois Knoll, Mubarak Shah, Fahad Shahbaz Khan

cs.AI

Resumen

En el proceso de adquisición de imágenes, se introducen con frecuencia diversas formas de degradación, como ruido, bruma y lluvia. Estas degradaciones suelen surgir de las limitaciones inherentes de las cámaras o condiciones ambientales desfavorables. Para recuperar imágenes limpias a partir de versiones degradadas, se han desarrollado numerosos métodos especializados de restauración, cada uno dirigido a un tipo específico de degradación. Recientemente, los algoritmos todo en uno han captado una atención significativa al abordar diferentes tipos de degradación dentro de un solo modelo sin necesidad de información previa sobre el tipo de degradación de entrada. Sin embargo, estos métodos operan puramente en el dominio espacial y no exploran las distintas variaciones de frecuencia inherentes a los diferentes tipos de degradación. Para abordar esta brecha, proponemos una red de restauración de imágenes todo en uno adaptativa basada en minería y modulación de frecuencias. Nuestro enfoque está motivado por la observación de que diferentes tipos de degradación afectan el contenido de la imagen en diferentes subbandas de frecuencia, lo que requiere tratamientos diferentes para cada tarea de restauración. Específicamente, primero extraemos información de baja y alta frecuencia de las características de entrada, guiados por los espectros adaptativamente desacoplados de la imagen degradada. Luego, las características extraídas son moduladas por un operador bidireccional para facilitar interacciones entre diferentes componentes de frecuencia. Finalmente, las características moduladas se fusionan con la entrada original para una restauración guiada de forma progresiva. Con este enfoque, el modelo logra una reconstrucción adaptativa al acentuar las subbandas de frecuencia informativas según las diferentes degradaciones de entrada. Experimentos extensos demuestran que el método propuesto logra un rendimiento de vanguardia en diferentes tareas de restauración de imágenes, incluyendo eliminación de ruido, deshazado, desrainado, desenfoque por movimiento y mejora de imágenes con poca luz. Nuestro código está disponible en https://github.com/c-yn/AdaIR.

English

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.