Высококачественное восстановление изображений в соответствии с инструкциями человека

High-Quality Image Restoration Following Human Instructions

January 29, 2024

Авторы: Marcos V. Conde, Gregor Geigle, Radu Timofte

cs.AI

Аннотация

Восстановление изображений — это фундаментальная задача, которая заключается в получении высококачественного чистого изображения из его деградировавшего наблюдения. Универсальные модели восстановления изображений (All-In-One) способны эффективно восстанавливать изображения от различных типов и уровней деградации, используя информацию о конкретных видах деградации в качестве подсказок для управления процессом восстановления. В данной работе мы представляем первый подход, в котором для управления моделью восстановления изображений используются инструкции, написанные человеком. При наличии естественноязыковых подсказок наша модель может восстанавливать высококачественные изображения из их деградировавших версий, учитывая множественные типы деградации. Наш метод, InstructIR, достигает наилучших результатов на нескольких задачах восстановления, включая удаление шума, устранение дождя, размытия, тумана и улучшение изображений при слабом освещении. InstructIR улучшает результаты на +1 дБ по сравнению с предыдущими универсальными методами восстановления. Более того, наш набор данных и результаты представляют собой новый эталон для дальнейших исследований в области текстово-управляемого восстановления и улучшения изображений. Наш код, наборы данных и модели доступны по адресу: https://github.com/mv-lab/InstructIR.

English

Image restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement. Our code, datasets and models are available at: https://github.com/mv-lab/InstructIR