Restauración de Imágenes Todo en Uno Adaptativa y a Ciegas

Adaptive Blind All-in-One Image Restoration

November 27, 2024

Autores: David Serrano-Lozano, Luis Herranz, Shaolin Su, Javier Vazquez-Corral

cs.AI

Resumen

Los modelos ciegos de restauración de imágenes todo en uno tienen como objetivo recuperar una imagen de alta calidad a partir de una entrada degradada con distorsiones desconocidas. Sin embargo, estos modelos requieren que todos los posibles tipos de degradación estén definidos durante la etapa de entrenamiento, mostrando una generalización limitada a degradaciones no vistas, lo que limita su aplicación práctica en casos complejos. En este documento, proponemos un modelo de restauración ciega todo en uno adaptativo y simple pero efectivo (ABAIR), que puede abordar múltiples degradaciones, generalizarse bien a degradaciones no vistas e incorporar eficientemente nuevas degradaciones mediante el entrenamiento de una pequeña fracción de parámetros. Primero, entrenamos nuestro modelo base en un gran conjunto de datos de imágenes naturales con múltiples degradaciones sintéticas, aumentadas con una cabeza de segmentación para estimar los tipos de degradación por píxel, lo que resulta en un esqueleto potente capaz de generalizar a una amplia gama de degradaciones. En segundo lugar, adaptamos nuestro modelo base a tareas variables de restauración de imágenes utilizando adaptadores independientes de bajo rango. En tercer lugar, aprendemos a combinar adaptadores de forma adaptativa para imágenes versátiles a través de un estimador de degradación flexible y ligero. Nuestro modelo es potente para manejar distorsiones específicas y flexible para adaptarse a tareas complejas, superando significativamente al estado del arte en configuraciones de IR de cinco y tres tareas, mostrando una mejor generalización a degradaciones no vistas y también a distorsiones compuestas.

English

Blind all-in-one image restoration models aim to recover a high-quality image from an input degraded with unknown distortions. However, these models require all the possible degradation types to be defined during the training stage while showing limited generalization to unseen degradations, which limits their practical application in complex cases. In this paper, we propose a simple but effective adaptive blind all-in-one restoration (ABAIR) model, which can address multiple degradations, generalizes well to unseen degradations, and efficiently incorporate new degradations by training a small fraction of parameters. First, we train our baseline model on a large dataset of natural images with multiple synthetic degradations, augmented with a segmentation head to estimate per-pixel degradation types, resulting in a powerful backbone able to generalize to a wide range of degradations. Second, we adapt our baseline model to varying image restoration tasks using independent low-rank adapters. Third, we learn to adaptively combine adapters to versatile images via a flexible and lightweight degradation estimator. Our model is both powerful in handling specific distortions and flexible in adapting to complex tasks, it not only outperforms the state-of-the-art by a large margin on five- and three-task IR setups, but also shows improved generalization to unseen degradations and also composite distortions.