Адаптивное слепое всестороннее восстановление изображений.

Adaptive Blind All-in-One Image Restoration

November 27, 2024

Авторы: David Serrano-Lozano, Luis Herranz, Shaolin Su, Javier Vazquez-Corral

cs.AI

Аннотация

Слепые модели восстановления изображений "все в одном" направлены на восстановление изображения высокого качества из входных данных, подвергшихся неизвестным искажениям. Однако такие модели требуют, чтобы все возможные типы искажений были определены на этапе обучения, что снижает их обобщающую способность к невидимым искажениям и ограничивает их практическое применение в сложных случаях. В данной статье мы предлагаем простую, но эффективную адаптивную слепую модель восстановления "все в одном" (ABAIR), способную справляться с несколькими видами искажений, хорошо обобщающуюся к невидимым искажениям и эффективно интегрирующую новые искажения путем обучения небольшой доли параметров. Сначала мы обучаем базовую модель на большом наборе данных естественных изображений с различными синтетическими искажениями, дополненными сегментационным блоком для оценки типов искажений на пиксельном уровне, что приводит к мощному основному блоку, способному обобщаться на широкий спектр искажений. Затем мы адаптируем базовую модель к различным задачам восстановления изображений с помощью независимых адаптеров низкого ранга. В третьих, мы учимся адаптивно комбинировать адаптеры для универсальных изображений через гибкий и легкий оценщик искажений. Наша модель одновременно мощна в обработке конкретных искажений и гибка в адаптации к сложным задачам, превосходя существующие методы с большим отрывом на настройках восстановления изображений с пятью и тремя задачами, а также показывает улучшенную обобщающую способность к невидимым искажениям и составным искажениям.

English

Blind all-in-one image restoration models aim to recover a high-quality image from an input degraded with unknown distortions. However, these models require all the possible degradation types to be defined during the training stage while showing limited generalization to unseen degradations, which limits their practical application in complex cases. In this paper, we propose a simple but effective adaptive blind all-in-one restoration (ABAIR) model, which can address multiple degradations, generalizes well to unseen degradations, and efficiently incorporate new degradations by training a small fraction of parameters. First, we train our baseline model on a large dataset of natural images with multiple synthetic degradations, augmented with a segmentation head to estimate per-pixel degradation types, resulting in a powerful backbone able to generalize to a wide range of degradations. Second, we adapt our baseline model to varying image restoration tasks using independent low-rank adapters. Third, we learn to adaptively combine adapters to versatile images via a flexible and lightweight degradation estimator. Our model is both powerful in handling specific distortions and flexible in adapting to complex tasks, it not only outperforms the state-of-the-art by a large margin on five- and three-task IR setups, but also shows improved generalization to unseen degradations and also composite distortions.