Adaptieve Blinde Alles-in-één Beeldherstel

Adaptive Blind All-in-One Image Restoration

November 27, 2024

Auteurs: David Serrano-Lozano, Luis Herranz, Shaolin Su, Javier Vazquez-Corral

cs.AI

Samenvatting

Blind all-in-one beeldherstelmodellen hebben als doel een hoogwaardig beeld te herstellen van een invoer die is aangetast door onbekende vervormingen. Deze modellen vereisen echter dat alle mogelijke soorten degradatie gedefinieerd worden tijdens de trainingsfase, terwijl ze beperkte generalisatie vertonen naar ongeziene degradaties, wat hun praktische toepassing in complexe gevallen beperkt. In dit artikel stellen we een eenvoudig maar effectief adaptief blind all-in-one herstelmodel voor, genaamd ABAIR, dat meerdere degradaties kan aanpakken, goed generaliseert naar ongeziene degradaties en efficiënt nieuwe degradaties kan opnemen door een klein deel van de parameters te trainen. Ten eerste trainen we ons basismodel op een grote dataset van natuurlijke beelden met meerdere synthetische degradaties, aangevuld met een segmentatiekop om per pixel degradatietypen te schatten, resulterend in een krachtige ruggengraat die in staat is te generaliseren naar een breed scala van degradaties. Ten tweede passen we ons basismodel aan voor verschillende beeldhersteltaken met onafhankelijke low-rank adapters. Ten derde leren we om adapters adaptief te combineren voor veelzijdige beelden via een flexibele en lichtgewicht degradatieschatting. Ons model is zowel krachtig in het omgaan met specifieke vervormingen als flexibel in het aanpassen aan complexe taken. Het presteert niet alleen aanzienlijk beter dan de state-of-the-art op vijf- en drie-taak IR-opstellingen, maar toont ook verbeterde generalisatie naar ongeziene degradaties en samengestelde vervormingen.

English

Blind all-in-one image restoration models aim to recover a high-quality image from an input degraded with unknown distortions. However, these models require all the possible degradation types to be defined during the training stage while showing limited generalization to unseen degradations, which limits their practical application in complex cases. In this paper, we propose a simple but effective adaptive blind all-in-one restoration (ABAIR) model, which can address multiple degradations, generalizes well to unseen degradations, and efficiently incorporate new degradations by training a small fraction of parameters. First, we train our baseline model on a large dataset of natural images with multiple synthetic degradations, augmented with a segmentation head to estimate per-pixel degradation types, resulting in a powerful backbone able to generalize to a wide range of degradations. Second, we adapt our baseline model to varying image restoration tasks using independent low-rank adapters. Third, we learn to adaptively combine adapters to versatile images via a flexible and lightweight degradation estimator. Our model is both powerful in handling specific distortions and flexible in adapting to complex tasks, it not only outperforms the state-of-the-art by a large margin on five- and three-task IR setups, but also shows improved generalization to unseen degradations and also composite distortions.