Restauration d'image tout-en-un adaptative et aveugle

Adaptive Blind All-in-One Image Restoration

November 27, 2024

Auteurs: David Serrano-Lozano, Luis Herranz, Shaolin Su, Javier Vazquez-Corral

cs.AI

Résumé

Les modèles de restauration d'image tout-en-un aveugles visent à récupérer une image de haute qualité à partir d'une entrée dégradée par des distorsions inconnues. Cependant, ces modèles nécessitent que tous les types de dégradations possibles soient définis lors de l'étape d'entraînement tout en montrant une généralisation limitée aux dégradations non vues, ce qui limite leur application pratique dans des cas complexes. Dans cet article, nous proposons un modèle de restauration aveugle tout-en-un adaptatif simple mais efficace (ABAIR), qui peut traiter plusieurs dégradations, généraliser efficacement aux dégradations non vues et incorporer efficacement de nouvelles dégradations en entraînant une petite fraction de paramètres. Tout d'abord, nous entraînons notre modèle de base sur un grand ensemble de données d'images naturelles avec plusieurs dégradations synthétiques, augmenté d'une tête de segmentation pour estimer les types de dégradations par pixel, ce qui donne une colonne vertébrale puissante capable de généraliser à une large gamme de dégradations. Ensuite, nous adaptons notre modèle de base à des tâches de restauration d'image variables en utilisant des adaptateurs indépendants de rang faible. Troisièmement, nous apprenons à combiner de manière adaptative les adaptateurs aux images polyvalentes via un estimateur de dégradation flexible et léger. Notre modèle est à la fois puissant pour traiter des distorsions spécifiques et flexible pour s'adapter à des tâches complexes, il surpasse largement l'état de l'art sur des configurations IR à cinq et trois tâches, et montre également une meilleure généralisation aux dégradations non vues et aux distorsions composites.

English

Blind all-in-one image restoration models aim to recover a high-quality image from an input degraded with unknown distortions. However, these models require all the possible degradation types to be defined during the training stage while showing limited generalization to unseen degradations, which limits their practical application in complex cases. In this paper, we propose a simple but effective adaptive blind all-in-one restoration (ABAIR) model, which can address multiple degradations, generalizes well to unseen degradations, and efficiently incorporate new degradations by training a small fraction of parameters. First, we train our baseline model on a large dataset of natural images with multiple synthetic degradations, augmented with a segmentation head to estimate per-pixel degradation types, resulting in a powerful backbone able to generalize to a wide range of degradations. Second, we adapt our baseline model to varying image restoration tasks using independent low-rank adapters. Third, we learn to adaptively combine adapters to versatile images via a flexible and lightweight degradation estimator. Our model is both powerful in handling specific distortions and flexible in adapting to complex tasks, it not only outperforms the state-of-the-art by a large margin on five- and three-task IR setups, but also shows improved generalization to unseen degradations and also composite distortions.