AdaIR: Ripristino Adattivo All-in-One delle Immagini tramite Estrazione e Modulazione in Frequenza

AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

March 21, 2024

Autori: Yuning Cui, Syed Waqas Zamir, Salman Khan, Alois Knoll, Mubarak Shah, Fahad Shahbaz Khan

cs.AI

Abstract

Nel processo di acquisizione delle immagini, sono spesso introdotte varie forme di degrado, tra cui rumore, foschia e pioggia. Questi degradi derivano tipicamente dai limiti intrinseci delle fotocamere o dalle condizioni ambientali sfavorevoli. Per ripristinare immagini pulite dalle versioni degradate, sono stati sviluppati numerosi metodi specializzati di ripristino, ognuno mirato a un tipo specifico di degrado. Recentemente, gli algoritmi "all-in-one" hanno attirato notevole attenzione affrontando diversi tipi di degrado all'interno di un singolo modello senza richiedere informazioni preliminari sul tipo di degrado in ingresso. Tuttavia, questi metodi operano esclusivamente nel dominio spaziale e non approfondiscono le distinte variazioni di frequenza proprie dei diversi tipi di degrado. Per colmare questa lacuna, proponiamo una rete di ripristino di immagini "all-in-one" adattiva basata sull'estrazione e sulla modulazione delle frequenze. Il nostro approccio è motivato dall'osservazione che diversi tipi di degrado influenzano il contenuto dell'immagine su diverse sottobande di frequenza, richiedendo quindi trattamenti diversi per ciascun compito di ripristino. In particolare, estraiamo inizialmente informazioni a bassa e alta frequenza dalle caratteristiche in ingresso, guidati spettralmente in modo adattivo dall'immagine degradata. Le caratteristiche estratte vengono poi modulate da un operatore bidirezionale per facilitare le interazioni tra i diversi componenti di frequenza. Infine, le caratteristiche modulate vengono fuse nell'input originale per un ripristino guidato in modo progressivo. Con questo approccio, il modello raggiunge una ricostruzione adattiva accentuando le sottobande di frequenza informative in base ai diversi degradi in ingresso. Estesi esperimenti dimostrano che il metodo proposto raggiunge prestazioni all'avanguardia su diversi compiti di ripristino delle immagini, tra cui denoising, dehazing, deraining, motion deblurring e miglioramento delle immagini a bassa luminosità. Il nostro codice è disponibile su https://github.com/c-yn/AdaIR.

English

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.