AdaIR: Адаптивное всестороннее восстановление изображений с помощью частотного анализа и модуляции

AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

March 21, 2024

Авторы: Yuning Cui, Syed Waqas Zamir, Salman Khan, Alois Knoll, Mubarak Shah, Fahad Shahbaz Khan

cs.AI

Аннотация

В процессе захвата изображения часто возникают различные формы деградации, такие как шум, дымка и дождь. Эти деградации обычно возникают из-за врожденных ограничений камер или неблагоприятных окружающих условий. Для восстановления чистых изображений из деградированных версий было разработано множество специализированных методов восстановления, каждый из которых нацелен на определенный тип деградации. Недавно все-в-одном алгоритмы привлекли значительное внимание, обрабатывая различные типы деградации в рамках одной модели без необходимости заранее знать тип входной деградации. Однако эти методы работают исключительно в пространственной области и не затрагивают различные частотные изменения, присущие различным типам деградации. Для заполнения этого пробела мы предлагаем адаптивную все-в-одном сеть восстановления изображений на основе частотного анализа и модуляции. Наш подход мотивирован наблюдением, что различные типы деградации влияют на содержимое изображения в различных частотных поддиапазонах, что требует различных подходов к каждой задаче восстановления. Конкретно, мы сначала анализируем низкочастотную и высокочастотную информацию из входных признаков, управляемые адаптивно разделенными спектрами деградированного изображения. Полученные признаки затем модулируются двунаправленным оператором для облегчения взаимодействия между различными частотными компонентами. Наконец, модулированные признаки объединяются с исходным входом для пошагового направленного восстановления. С помощью этого подхода модель достигает адаптивной реконструкции, акцентируя информативные частотные поддиапазоны в зависимости от различных входных деградаций. Обширные эксперименты показывают, что предложенный метод достигает передового качества на различных задачах восстановления изображений, включая уменьшение шума, удаление дымки, удаление дождя, устранение размытия движения и улучшение изображений при недостаточной освещенности. Наш код доступен по ссылке https://github.com/c-yn/AdaIR.

English

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.