Restaurierung durch Generierung mit eingeschränkten Prioris

Restoration by Generation with Constrained Priors

December 28, 2023

Autoren: Zheng Ding, Xuaner Zhang, Zhuowen Tu, Zhihao Xia

cs.AI

Zusammenfassung

Die inhärente generative Kraft von Denoising-Diffusionsmodellen macht sie besonders geeignet für Bildrestaurierungsaufgaben, bei denen das Ziel darin besteht, das optimale hochwertige Bild innerhalb des generativen Raums zu finden, das dem Eingabebild stark ähnelt. Wir schlagen eine Methode vor, um ein vortrainiertes Diffusionsmodell für die Bildrestaurierung anzupassen, indem einfach Rauschen zum zu restaurierenden Eingabebild hinzugefügt und dann entrauscht wird. Unsere Methode basiert auf der Beobachtung, dass der Raum eines generativen Modells eingeschränkt werden muss. Wir setzen diese Einschränkung um, indem wir das generative Modell mit einer Reihe von Ankerbildern feinabstimmen, die die Merkmale des Eingabebilds erfassen. Mit dem eingeschränkten Raum können wir dann die für die Generierung verwendete Sampling-Strategie nutzen, um die Bildrestaurierung durchzuführen. Wir vergleichen unsere Methode mit früheren Ansätzen und zeigen überlegene Leistungen bei mehreren realen Restaurierungsdatensätzen in Bezug auf die Bewahrung der Identität und Bildqualität. Wir demonstrieren auch eine wichtige und praktische Anwendung in der personalisierten Restaurierung, bei der wir ein persönliches Album als Ankerbilder verwenden, um den generativen Raum einzuschränken. Dieser Ansatz ermöglicht es uns, Ergebnisse zu erzielen, die hochfrequente Details präzise bewahren, was frühere Arbeiten nicht leisten konnten. Projektwebseite: https://gen2res.github.io.

English

The inherent generative power of denoising diffusion models makes them well-suited for image restoration tasks where the objective is to find the optimal high-quality image within the generative space that closely resembles the input image. We propose a method to adapt a pretrained diffusion model for image restoration by simply adding noise to the input image to be restored and then denoise. Our method is based on the observation that the space of a generative model needs to be constrained. We impose this constraint by finetuning the generative model with a set of anchor images that capture the characteristics of the input image. With the constrained space, we can then leverage the sampling strategy used for generation to do image restoration. We evaluate against previous methods and show superior performances on multiple real-world restoration datasets in preserving identity and image quality. We also demonstrate an important and practical application on personalized restoration, where we use a personal album as the anchor images to constrain the generative space. This approach allows us to produce results that accurately preserve high-frequency details, which previous works are unable to do. Project webpage: https://gen2res.github.io.