適応型ブラインドオールインワン画像復元

Adaptive Blind All-in-One Image Restoration

November 27, 2024

著者: David Serrano-Lozano, Luis Herranz, Shaolin Su, Javier Vazquez-Corral

cs.AI

要旨

盲目のオールインワン画像復元モデルは、未知の歪みで劣化した入力から高品質な画像を回復することを目指しています。ただし、これらのモデルは、訓練段階ですべての可能な劣化タイプを定義する必要がありますが、未知の劣化に対して限られた汎化しか示さず、複雑なケースでの実用的な適用を制限しています。本論文では、シンプルで効果的な適応型ブラインドオールインワン復元（ABAIR）モデルを提案し、複数の劣化に対処し、未知の劣化に対してよく汎化し、新しい劣化を効率的に取り込むことができます。まず、大規模な自然画像データセットでベースラインモデルをトレーニングし、複数の合成劣化を施したものにセグメンテーションヘッドを追加して、ピクセルごとの劣化タイプを推定し、幅広い劣化に汎化できる強力なバックボーンを実現します。次に、独立した低ランクアダプタを使用して、ベースラインモデルをさまざまな画像復元タスクに適応させます。さらに、柔軟で軽量な劣化推定器を介して、アダプタを多目的な画像に適応的に組み合わせる方法を学習します。当モデルは、特定の歪みを処理する際に強力であり、複雑なタスクに適応する際に柔軟であり、5つおよび3つのタスクIRセットアップで圧倒的に最先端技術を上回るだけでなく、未知の劣化や複合歪みに対する汎化も向上しています。

English

Blind all-in-one image restoration models aim to recover a high-quality image from an input degraded with unknown distortions. However, these models require all the possible degradation types to be defined during the training stage while showing limited generalization to unseen degradations, which limits their practical application in complex cases. In this paper, we propose a simple but effective adaptive blind all-in-one restoration (ABAIR) model, which can address multiple degradations, generalizes well to unseen degradations, and efficiently incorporate new degradations by training a small fraction of parameters. First, we train our baseline model on a large dataset of natural images with multiple synthetic degradations, augmented with a segmentation head to estimate per-pixel degradation types, resulting in a powerful backbone able to generalize to a wide range of degradations. Second, we adapt our baseline model to varying image restoration tasks using independent low-rank adapters. Third, we learn to adaptively combine adapters to versatile images via a flexible and lightweight degradation estimator. Our model is both powerful in handling specific distortions and flexible in adapting to complex tasks, it not only outperforms the state-of-the-art by a large margin on five- and three-task IR setups, but also shows improved generalization to unseen degradations and also composite distortions.