Restauración de Imágenes de Alta Calidad Siguiendo Instrucciones Humanas

High-Quality Image Restoration Following Human Instructions

January 29, 2024

Autores: Marcos V. Conde, Gregor Geigle, Radu Timofte

cs.AI

Resumen

La restauración de imágenes es un problema fundamental que implica recuperar una imagen limpia de alta calidad a partir de una observación degradada. Los modelos de restauración "todo en uno" pueden restaurar eficazmente imágenes de diversos tipos y niveles de degradación utilizando información específica de la degradación como indicaciones para guiar el modelo de restauración. En este trabajo, presentamos el primer enfoque que utiliza instrucciones escritas por humanos para guiar el modelo de restauración de imágenes. Dadas indicaciones en lenguaje natural, nuestro modelo puede recuperar imágenes de alta calidad a partir de sus versiones degradadas, considerando múltiples tipos de degradación. Nuestro método, InstructIR, logra resultados de vanguardia en varias tareas de restauración, incluyendo eliminación de ruido, eliminación de lluvia, eliminación de desenfoque, eliminación de neblina y mejora de imágenes (en condiciones de poca luz). InstructIR mejora en +1dB respecto a los métodos anteriores de restauración "todo en uno". Además, nuestro conjunto de datos y resultados representan un nuevo punto de referencia para la investigación en restauración y mejora de imágenes guiada por texto. Nuestro código, conjuntos de datos y modelos están disponibles en: https://github.com/mv-lab/InstructIR.

English

Image restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement. Our code, datasets and models are available at: https://github.com/mv-lab/InstructIR