制約付き事前分布を用いた生成による復元

要旨

ノイズ除去拡散モデルの持つ本質的な生成能力は、入力画像に近い高品質な画像を生成空間内で最適化することを目的とする画像復元タスクに適している。本研究では、事前学習済みの拡散モデルを画像復元に適応させる方法を提案する。具体的には、復元対象の入力画像にノイズを加え、その後ノイズ除去を行うというシンプルな手法を用いる。この方法は、生成モデルの空間を制約する必要があるという観察に基づいている。この制約を、入力画像の特徴を捉えたアンカー画像セットを用いて生成モデルをファインチューニングすることで課す。制約された空間において、生成に用いられるサンプリング戦略を活用して画像復元を行う。既存の手法との比較評価を行い、複数の実世界の復元データセットにおいて、アイデンティティと画質の保持において優れた性能を示す。さらに、個人のアルバムをアンカー画像として使用し、生成空間を制約するパーソナライズド復元という重要な実用的応用も実証する。このアプローチにより、従来の手法では実現できなかった高周波詳細を正確に保持した結果を生成することが可能となる。プロジェクトウェブページ: https://gen2res.github.io.

English

The inherent generative power of denoising diffusion models makes them well-suited for image restoration tasks where the objective is to find the optimal high-quality image within the generative space that closely resembles the input image. We propose a method to adapt a pretrained diffusion model for image restoration by simply adding noise to the input image to be restored and then denoise. Our method is based on the observation that the space of a generative model needs to be constrained. We impose this constraint by finetuning the generative model with a set of anchor images that capture the characteristics of the input image. With the constrained space, we can then leverage the sampling strategy used for generation to do image restoration. We evaluate against previous methods and show superior performances on multiple real-world restoration datasets in preserving identity and image quality. We also demonstrate an important and practical application on personalized restoration, where we use a personal album as the anchor images to constrain the generative space. This approach allows us to produce results that accurately preserve high-frequency details, which previous works are unable to do. Project webpage: https://gen2res.github.io.

制約付き事前分布を用いた生成による復元

Restoration by Generation with Constrained Priors

要旨

Support