拡散反転を介した任意ステップ画像の超解像度

Arbitrary-steps Image Super-resolution via Diffusion Inversion

December 12, 2024

著者: Zongsheng Yue, Kang Liao, Chen Change Loy

cs.AI

要旨

本研究では、大規模な事前学習された拡散モデルに包括された豊富な画像事前知識を活用して、画像の超解像（SR）性能を向上させることを目的とした、拡散逆転に基づく新しい画像超解像技術を提案しています。我々は、部分的なノイズ予測戦略を設計し、拡散モデルの中間状態を構築します。この中間状態は、サンプリングの開始点として機能します。我々のアプローチの中心には、最適なノイズマップを推定するための深層ノイズ予測器があります。訓練された後、このノイズ予測器を使用して、拡散軌跡に沿ってサンプリングプロセスを部分的に初期化し、望ましい高解像度結果を生成します。既存の手法と比較して、我々の手法は、1から5までの任意のサンプリングステップをサポートする柔軟かつ効率的なサンプリングメカニズムを提供します。1つのサンプリングステップでも、我々の手法は、最近の最先端の手法と比較して、優れたまたは同等の性能を示します。コードとモデルは、https://github.com/zsyOAOA/InvSR で公開されています。

English

This study presents a new image super-resolution (SR) technique based on diffusion inversion, aiming at harnessing the rich image priors encapsulated in large pre-trained diffusion models to improve SR performance. We design a Partial noise Prediction strategy to construct an intermediate state of the diffusion model, which serves as the starting sampling point. Central to our approach is a deep noise predictor to estimate the optimal noise maps for the forward diffusion process. Once trained, this noise predictor can be used to initialize the sampling process partially along the diffusion trajectory, generating the desirable high-resolution result. Compared to existing approaches, our method offers a flexible and efficient sampling mechanism that supports an arbitrary number of sampling steps, ranging from one to five. Even with a single sampling step, our method demonstrates superior or comparable performance to recent state-of-the-art approaches. The code and model are publicly available at https://github.com/zsyOAOA/InvSR.