Restauration par Génération avec A Priori Contraints

Restoration by Generation with Constrained Priors

December 28, 2023

Auteurs: Zheng Ding, Xuaner Zhang, Zhuowen Tu, Zhihao Xia

cs.AI

Résumé

La puissance générative inhérente des modèles de diffusion par débruitage les rend particulièrement adaptés aux tâches de restauration d'images, où l'objectif est de trouver l'image de haute qualité optimale dans l'espace génératif qui ressemble étroitement à l'image d'entrée. Nous proposons une méthode pour adapter un modèle de diffusion pré-entraîné à la restauration d'images en ajoutant simplement du bruit à l'image d'entrée à restaurer, puis en la débruitant. Notre méthode repose sur l'observation que l'espace d'un modèle génératif doit être contraint. Nous imposons cette contrainte en affinant le modèle génératif avec un ensemble d'images d'ancrage qui capturent les caractéristiques de l'image d'entrée. Avec cet espace contraint, nous pouvons ensuite exploiter la stratégie d'échantillonnage utilisée pour la génération afin de réaliser la restauration d'images. Nous évaluons notre méthode par rapport aux approches précédentes et montrons des performances supérieures sur plusieurs ensembles de données de restauration du monde réel en préservant l'identité et la qualité de l'image. Nous démontrons également une application importante et pratique dans la restauration personnalisée, où nous utilisons un album personnel comme images d'ancrage pour contraindre l'espace génératif. Cette approche nous permet de produire des résultats qui préservent avec précision les détails haute fréquence, ce que les travaux précédents ne parviennent pas à faire. Page web du projet : https://gen2res.github.io.

English

The inherent generative power of denoising diffusion models makes them well-suited for image restoration tasks where the objective is to find the optimal high-quality image within the generative space that closely resembles the input image. We propose a method to adapt a pretrained diffusion model for image restoration by simply adding noise to the input image to be restored and then denoise. Our method is based on the observation that the space of a generative model needs to be constrained. We impose this constraint by finetuning the generative model with a set of anchor images that capture the characteristics of the input image. With the constrained space, we can then leverage the sampling strategy used for generation to do image restoration. We evaluate against previous methods and show superior performances on multiple real-world restoration datasets in preserving identity and image quality. We also demonstrate an important and practical application on personalized restoration, where we use a personal album as the anchor images to constrain the generative space. This approach allows us to produce results that accurately preserve high-frequency details, which previous works are unable to do. Project webpage: https://gen2res.github.io.