AdaIR : Restauration d'Images Tout-en-Un Adaptative via l'Extraction et la Modulation de Fréquence

AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

March 21, 2024

Auteurs: Yuning Cui, Syed Waqas Zamir, Salman Khan, Alois Knoll, Mubarak Shah, Fahad Shahbaz Khan

cs.AI

Résumé

Dans le processus d'acquisition d'images, diverses formes de dégradation, telles que le bruit, le brouillard et la pluie, sont fréquemment introduites. Ces dégradations découlent généralement des limitations inhérentes des caméras ou de conditions ambiantes défavorables. Pour récupérer des images nettes à partir de versions dégradées, de nombreuses méthodes de restauration spécialisées ont été développées, chacune ciblant un type spécifique de dégradation. Récemment, les algorithmes tout-en-un ont suscité une attention significative en traitant différents types de dégradations au sein d'un seul modèle sans nécessiter d'informations préalables sur le type de dégradation en entrée. Cependant, ces méthodes opèrent uniquement dans le domaine spatial et ne s'aventurent pas dans les variations de fréquence distinctes inhérentes aux différents types de dégradations. Pour combler cette lacune, nous proposons un réseau adaptatif de restauration d'images tout-en-un basé sur l'exploration et la modulation de fréquences. Notre approche est motivée par l'observation selon laquelle différents types de dégradations impactent le contenu de l'image sur différentes sous-bandes de fréquence, nécessitant ainsi des traitements différents pour chaque tâche de restauration. Plus précisément, nous extrayons d'abord des informations de basses et hautes fréquences à partir des caractéristiques en entrée, guidés par les spectres adaptativement découplés de l'image dégradée. Les caractéristiques extraites sont ensuite modulées par un opérateur bidirectionnel pour faciliter les interactions entre les différents composants de fréquence. Enfin, les caractéristiques modulées sont fusionnées avec l'entrée d'origine pour une restauration guidée de manière progressive. Avec cette approche, le modèle parvient à une reconstruction adaptative en accentuant les sous-bandes de fréquence informatives selon les différentes dégradations en entrée. Des expériences approfondies démontrent que la méthode proposée atteint des performances de pointe sur différentes tâches de restauration d'images, notamment le débruitage, le désembuage, le dépluviage, le désfloutage de mouvement et l'amélioration d'images en basse lumière. Notre code est disponible sur https://github.com/c-yn/AdaIR.

English

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.