사용자 지시에 따른 고품질 이미지 복원

초록

이미지 복원은 저하된 관측값에서 고품질의 깨끗한 이미지를 복구하는 근본적인 문제입니다. 올인원(All-In-One) 이미지 복원 모델은 저하 유형별 정보를 프롬프트로 활용하여 다양한 유형과 수준의 저하로부터 이미지를 효과적으로 복원할 수 있습니다. 본 연구에서는 인간이 작성한 지시문을 사용하여 이미지 복원 모델을 안내하는 최초의 접근법을 제시합니다. 자연어 프롬프트가 주어지면, 우리의 모델은 여러 저하 유형을 고려하여 저하된 이미지로부터 고품질의 이미지를 복원할 수 있습니다. 우리의 방법인 InstructIR은 이미지 노이즈 제거, 비 제거, 블러 제거, 안개 제거 및 (저조도) 이미지 향상 등 여러 복원 작업에서 최첨단 결과를 달성합니다. InstructIR은 기존의 올인원 복원 방법보다 +1dB의 성능 향상을 보여줍니다. 또한, 우리의 데이터셋과 결과는 텍스트 기반 이미지 복원 및 향상에 대한 새로운 연구를 위한 기준을 제시합니다. 우리의 코드, 데이터셋 및 모델은 https://github.com/mv-lab/InstructIR에서 확인할 수 있습니다.

English

Image restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement. Our code, datasets and models are available at: https://github.com/mv-lab/InstructIR

사용자 지시에 따른 고품질 이미지 복원

High-Quality Image Restoration Following Human Instructions

초록

Support