Restauração de Imagens de Alta Qualidade Seguindo Instruções Humanas

High-Quality Image Restoration Following Human Instructions

January 29, 2024

Autores: Marcos V. Conde, Gregor Geigle, Radu Timofte

cs.AI

Resumo

A restauração de imagens é um problema fundamental que envolve a recuperação de uma imagem limpa de alta qualidade a partir de sua observação degradada. Modelos de restauração de imagem All-In-One podem restaurar efetivamente imagens de vários tipos e níveis de degradação, utilizando informações específicas da degradação como prompts para orientar o modelo de restauração. Neste trabalho, apresentamos a primeira abordagem que utiliza instruções escritas por humanos para orientar o modelo de restauração de imagem. Dados prompts em linguagem natural, nosso modelo é capaz de recuperar imagens de alta qualidade a partir de suas versões degradadas, considerando múltiplos tipos de degradação. Nosso método, InstructIR, alcança resultados de ponta em várias tarefas de restauração, incluindo remoção de ruído, remoção de chuva, desfoque, remoção de névoa e melhoria de imagens (em baixa luminosidade). O InstructIR melhora em +1dB em relação aos métodos anteriores de restauração All-In-One. Além disso, nosso conjunto de dados e resultados representam um novo benchmark para pesquisas futuras sobre restauração e melhoria de imagens guiadas por texto. Nosso código, conjuntos de dados e modelos estão disponíveis em: https://github.com/mv-lab/InstructIR

English

Image restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement. Our code, datasets and models are available at: https://github.com/mv-lab/InstructIR