拡散事前情報を用いた劣化ガイド付きワンステップ画像超解像

Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors

September 25, 2024

著者: Aiping Zhang, Zongsheng Yue, Renjing Pei, Wenqi Ren, Xiaochun Cao

cs.AI

要旨

拡散ベースの画像超解像（SR）手法は、大規模な事前学習済みのテキストから画像への拡散モデルを事前情報として活用することで、顕著な成功を収めてきました。しかし、これらの手法は依然として2つの課題に直面しています。1つは満足できる結果を得るために数十のサンプリングステップが必要であり、これは実際のシナリオにおいて効率を制限するものです。もう1つは、SR問題の解決において重要な補助情報である劣化モデルが無視されていることです。本研究では、拡散ベースのSR手法の効率の問題に大きく対処する革新的なワンステップSRモデルを導入しました。既存の微調整戦略とは異なり、SR向けに特別に設計された劣化ガイド付きの低ランク適応（LoRA）モジュールを開発しました。このモジュールは、低解像度画像から事前に推定された劣化情報に基づいてモデルパラメータを修正し、強力なデータ依存性または劣化依存性のSRモデルを促進するだけでなく、事前に学習された拡散モデルの生成事前知識を可能な限り維持します。さらに、オンライン負例生成戦略を導入することで、新しいトレーニングパイプラインをカスタマイズしました。推論中のクラシファイア不使用のガイダンス戦略と組み合わせることで、超解像結果の知覚品質を大幅に向上させます。幅広い実験により、提案されたモデルが最近の最先端手法と比較して優れた効率性と効果を実証しました。

English

Diffusion-based image super-resolution (SR) methods have achieved remarkable success by leveraging large pre-trained text-to-image diffusion models as priors. However, these methods still face two challenges: the requirement for dozens of sampling steps to achieve satisfactory results, which limits efficiency in real scenarios, and the neglect of degradation models, which are critical auxiliary information in solving the SR problem. In this work, we introduced a novel one-step SR model, which significantly addresses the efficiency issue of diffusion-based SR methods. Unlike existing fine-tuning strategies, we designed a degradation-guided Low-Rank Adaptation (LoRA) module specifically for SR, which corrects the model parameters based on the pre-estimated degradation information from low-resolution images. This module not only facilitates a powerful data-dependent or degradation-dependent SR model but also preserves the generative prior of the pre-trained diffusion model as much as possible. Furthermore, we tailor a novel training pipeline by introducing an online negative sample generation strategy. Combined with the classifier-free guidance strategy during inference, it largely improves the perceptual quality of the super-resolution results. Extensive experiments have demonstrated the superior efficiency and effectiveness of the proposed model compared to recent state-of-the-art methods.