Ripristino di Immagini di Alta Qualità in Base alle Istruzioni Umane

High-Quality Image Restoration Following Human Instructions

January 29, 2024

Autori: Marcos V. Conde, Gregor Geigle, Radu Timofte

cs.AI

Abstract

Il ripristino delle immagini è un problema fondamentale che consiste nel recuperare un'immagine pulita di alta qualità dalla sua osservazione degradata. I modelli All-In-One per il ripristino delle immagini possono ripristinare efficacemente le immagini da vari tipi e livelli di degrado utilizzando informazioni specifiche sul degrado come prompt per guidare il modello di ripristino. In questo lavoro, presentiamo il primo approccio che utilizza istruzioni scritte da esseri umani per guidare il modello di ripristino delle immagini. Dati prompt in linguaggio naturale, il nostro modello è in grado di recuperare immagini di alta qualità dalle loro controparti degradate, considerando più tipi di degrado. Il nostro metodo, InstructIR, ottiene risultati all'avanguardia in diverse attività di ripristino, tra cui la riduzione del rumore, la rimozione della pioggia, la correzione della sfocatura, la rimozione della foschia e il miglioramento delle immagini (in condizioni di scarsa illuminazione). InstructIR migliora di +1dB rispetto ai precedenti metodi di ripristino All-In-One. Inoltre, il nostro dataset e i nostri risultati rappresentano un nuovo punto di riferimento per la ricerca sul ripristino e il miglioramento delle immagini guidati da testo. Il nostro codice, i dataset e i modelli sono disponibili all'indirizzo: https://github.com/mv-lab/InstructIR

English

Image restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement. Our code, datasets and models are available at: https://github.com/mv-lab/InstructIR