AdaIR：周波数マイニングと変調による適応型オールインワン画像修復

AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

March 21, 2024

著者: Yuning Cui, Syed Waqas Zamir, Salman Khan, Alois Knoll, Mubarak Shah, Fahad Shahbaz Khan

cs.AI

要旨

画像取得プロセスでは、ノイズ、ヘイズ、雨など、さまざまな劣化が頻繁に導入されます。これらの劣化は、通常、カメラの固有の制限や不利な周囲の条件から生じます。劣化したバージョンからクリーンな画像を回復するためには、特定の種類の劣化を対象とするさまざまな専門の復元手法が開発されてきました。最近では、オールインワンのアルゴリズムが注目を集めており、入力の劣化タイプの事前情報を必要とせず、異なる種類の劣化に対処することができます。ただし、これらの手法は純粋に空間領域で動作し、異なる劣化タイプ固有の周波数変動には踏み込んでいません。このギャップを埋めるために、周波数のマイニングと変調に基づく適応型オールインワン画像復元ネットワークを提案します。我々のアプローチは、異なる劣化タイプが画像コンテンツに異なる周波数サブバンドに影響を与えることから、各復元タスクには異なる処理が必要とされるという観察に基づいています。具体的には、まず、劣化画像の適応的に分離されたスペクトルに導かれた入力特徴から低周波と高周波情報を抽出します。抽出された特徴は、異なる周波数成分間の相互作用を促進するために双方向演算子によって変調されます。最後に、変調された特徴は、元の入力に逐次的にガイドされた復元のためにマージされます。このアプローチにより、モデルは、異なる入力の劣化に応じて情報量の多い周波数サブバンドを強調することで適応的な再構築を実現します。包括的な実験により、提案手法がノイズ除去、ヘイズ除去、雨除去、モーションブラー除去、および低照度画像の向上など、さまざまな画像復元タスクで最先端のパフォーマンスを達成していることが示されています。当該手法のコードは、https://github.com/c-yn/AdaIR で入手可能です。

English

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.