Hoogwaardig beeldherstel volgens menselijke instructies

High-Quality Image Restoration Following Human Instructions

January 29, 2024

Auteurs: Marcos V. Conde, Gregor Geigle, Radu Timofte

cs.AI

Samenvatting

Beeldrestauratie is een fundamenteel probleem dat het herstellen van een hoogwaardig, schoon beeld uit een gedegradeerde waarneming omvat. All-In-One beeldrestoratiemodellen kunnen effectief beelden herstellen van verschillende soorten en niveaus van degradatie door gebruik te maken van degradatie-specifieke informatie als prompts om het restauratiemodel te sturen. In dit werk presenteren we de eerste aanpak die door mensen geschreven instructies gebruikt om het beeldrestoratiemodel te begeleiden. Gegeven natuurlijke taalprompts kan ons model hoogwaardige beelden herstellen uit hun gedegradeerde tegenhangers, waarbij rekening wordt gehouden met meerdere soorten degradatie. Onze methode, InstructIR, behaalt state-of-the-art resultaten op verschillende restauratietaken, waaronder beelddenoising, deraining, deblurring, dehazing en (laaglicht) beeldverbetering. InstructIR verbetert met +1dB ten opzichte van eerdere all-in-one restauratiemethoden. Bovendien vormen onze dataset en resultaten een nieuwe benchmark voor nieuw onderzoek naar tekstgeleide beeldrestauratie en -verbetering. Onze code, datasets en modellen zijn beschikbaar op: https://github.com/mv-lab/InstructIR

English

Image restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement. Our code, datasets and models are available at: https://github.com/mv-lab/InstructIR