人間の指示に従った高品質な画像復元

要旨

画像復元は、劣化した観測データから高品質なクリーンな画像を復元する基本的な問題です。All-In-One画像復元モデルは、劣化の種類やレベルに応じた情報をプロンプトとして利用し、様々な劣化状態から効果的に画像を復元することができます。本研究では、人間が記述した指示を用いて画像復元モデルをガイドする初めてのアプローチを提案します。自然言語のプロンプトを与えることで、我々のモデルは複数の劣化タイプを考慮しつつ、劣化した画像から高品質な画像を復元することができます。我々の手法であるInstructIRは、画像ノイズ除去、雨除去、ぼかし除去、かすみ除去、および（低照度）画像強調を含むいくつかの復元タスクにおいて、最先端の結果を達成しました。InstructIRは、従来のAll-In-One復元手法よりも+1dBの改善を実現しています。さらに、我々のデータセットと結果は、テキストガイドによる画像復元と強調に関する新しい研究のためのベンチマークを提供します。我々のコード、データセット、およびモデルは以下で公開されています: https://github.com/mv-lab/InstructIR

English

Image restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement. Our code, datasets and models are available at: https://github.com/mv-lab/InstructIR

人間の指示に従った高品質な画像復元

High-Quality Image Restoration Following Human Instructions

要旨

Support