Herstel door Generatie met Beperkte Priors

Restoration by Generation with Constrained Priors

December 28, 2023

Auteurs: Zheng Ding, Xuaner Zhang, Zhuowen Tu, Zhihao Xia

cs.AI

Samenvatting

De inherente generatieve kracht van denoising-diffusiemodellen maakt ze bijzonder geschikt voor beeldrestauratietaken, waarbij het doel is om het optimale hoogwaardige beeld binnen de generatieve ruimte te vinden dat sterk lijkt op het invoerbeeld. Wij stellen een methode voor om een vooraf getraind diffusiemodel aan te passen voor beeldrestauratie door simpelweg ruis toe te voegen aan het invoerbeeld dat moet worden hersteld en vervolgens te denoisen. Onze methode is gebaseerd op de observatie dat de ruimte van een generatief model beperkt moet worden. We leggen deze beperking op door het generatieve model te finetunen met een set ankerbeelden die de kenmerken van het invoerbeeld vastleggen. Met de beperkte ruimte kunnen we vervolgens de samplingstrategie die wordt gebruikt voor generatie inzetten om beeldrestauratie uit te voeren. We evalueren onze methode tegenover eerdere methoden en tonen superieure prestaties op meerdere real-world restauratiedatasets in het behoud van identiteit en beeldkwaliteit. We demonstreren ook een belangrijke en praktische toepassing op gepersonaliseerde restauratie, waarbij we een persoonlijk album gebruiken als de ankerbeelden om de generatieve ruimte te beperken. Deze aanpak stelt ons in staat om resultaten te produceren die hoogfrequente details nauwkeurig behouden, wat eerdere werken niet kunnen. Projectwebpagina: https://gen2res.github.io.

English

The inherent generative power of denoising diffusion models makes them well-suited for image restoration tasks where the objective is to find the optimal high-quality image within the generative space that closely resembles the input image. We propose a method to adapt a pretrained diffusion model for image restoration by simply adding noise to the input image to be restored and then denoise. Our method is based on the observation that the space of a generative model needs to be constrained. We impose this constraint by finetuning the generative model with a set of anchor images that capture the characteristics of the input image. With the constrained space, we can then leverage the sampling strategy used for generation to do image restoration. We evaluate against previous methods and show superior performances on multiple real-world restoration datasets in preserving identity and image quality. We also demonstrate an important and practical application on personalized restoration, where we use a personal album as the anchor images to constrain the generative space. This approach allows us to produce results that accurately preserve high-frequency details, which previous works are unable to do. Project webpage: https://gen2res.github.io.