Restauration d'images de haute qualité selon les instructions humaines

High-Quality Image Restoration Following Human Instructions

January 29, 2024

Auteurs: Marcos V. Conde, Gregor Geigle, Radu Timofte

cs.AI

Résumé

La restauration d'images est un problème fondamental qui consiste à récupérer une image propre de haute qualité à partir de son observation dégradée. Les modèles de restauration d'images tout-en-un peuvent restaurer efficacement des images à partir de divers types et niveaux de dégradation en utilisant des informations spécifiques à la dégradation comme prompts pour guider le modèle de restauration. Dans ce travail, nous présentons la première approche qui utilise des instructions écrites par des humains pour guider le modèle de restauration d'images. Étant donné des prompts en langage naturel, notre modèle peut récupérer des images de haute qualité à partir de leurs versions dégradées, en tenant compte de multiples types de dégradation. Notre méthode, InstructIR, obtient des résultats de pointe sur plusieurs tâches de restauration, notamment le débruitage d'images, la suppression de pluie, le débrouillage, la déhaze et l'amélioration d'images (en faible luminosité). InstructIR améliore de +1 dB les méthodes précédentes de restauration tout-en-un. De plus, notre ensemble de données et nos résultats représentent une nouvelle référence pour la recherche sur la restauration et l'amélioration d'images guidées par le texte. Notre code, ensembles de données et modèles sont disponibles à l'adresse suivante : https://github.com/mv-lab/InstructIR

English

Image restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement. Our code, datasets and models are available at: https://github.com/mv-lab/InstructIR