Restauração de Imagem Adaptativa e Cega Tudo-em-Um

Adaptive Blind All-in-One Image Restoration

November 27, 2024

Autores: David Serrano-Lozano, Luis Herranz, Shaolin Su, Javier Vazquez-Corral

cs.AI

Resumo

Os modelos cegos de restauração de imagem all-in-one visam recuperar uma imagem de alta qualidade a partir de uma entrada degradada com distorções desconhecidas. No entanto, esses modelos requerem que todos os tipos de degradação possíveis sejam definidos durante a fase de treinamento, mostrando uma generalização limitada para degradações não vistas, o que limita sua aplicação prática em casos complexos. Neste artigo, propomos um modelo simples, porém eficaz, de restauração all-in-one cega adaptativa (ABAIR), que pode lidar com múltiplas degradações, generaliza bem para degradações não vistas e incorpora eficientemente novas degradações treinando uma pequena fração de parâmetros. Primeiramente, treinamos nosso modelo de referência em um grande conjunto de dados de imagens naturais com múltiplas degradações sintéticas, aumentadas com uma cabeça de segmentação para estimar os tipos de degradação por pixel, resultando em uma espinha dorsal poderosa capaz de generalizar para uma ampla gama de degradações. Em segundo lugar, adaptamos nosso modelo de referência para tarefas variadas de restauração de imagem usando adaptadores independentes de baixa classificação. Em terceiro lugar, aprendemos a combinar adaptadores de forma adaptativa para imagens versáteis por meio de um estimador de degradação flexível e leve. Nosso modelo é poderoso para lidar com distorções específicas e flexível para se adaptar a tarefas complexas, superando significativamente o estado da arte em configurações de IR de cinco e três tarefas, além de mostrar uma generalização aprimorada para degradações não vistas e também distorções compostas.

English

Blind all-in-one image restoration models aim to recover a high-quality image from an input degraded with unknown distortions. However, these models require all the possible degradation types to be defined during the training stage while showing limited generalization to unseen degradations, which limits their practical application in complex cases. In this paper, we propose a simple but effective adaptive blind all-in-one restoration (ABAIR) model, which can address multiple degradations, generalizes well to unseen degradations, and efficiently incorporate new degradations by training a small fraction of parameters. First, we train our baseline model on a large dataset of natural images with multiple synthetic degradations, augmented with a segmentation head to estimate per-pixel degradation types, resulting in a powerful backbone able to generalize to a wide range of degradations. Second, we adapt our baseline model to varying image restoration tasks using independent low-rank adapters. Third, we learn to adaptively combine adapters to versatile images via a flexible and lightweight degradation estimator. Our model is both powerful in handling specific distortions and flexible in adapting to complex tasks, it not only outperforms the state-of-the-art by a large margin on five- and three-task IR setups, but also shows improved generalization to unseen degradations and also composite distortions.