Rigenerazione con Prior Vincolati

Restoration by Generation with Constrained Priors

December 28, 2023

Autori: Zheng Ding, Xuaner Zhang, Zhuowen Tu, Zhihao Xia

cs.AI

Abstract

La potenza generativa intrinseca dei modelli di diffusione con denoising li rende particolarmente adatti per compiti di restauro delle immagini, dove l'obiettivo è trovare l'immagine di alta qualità ottimale all'interno dello spazio generativo che assomigli strettamente all'immagine di input. Proponiamo un metodo per adattare un modello di diffusione preaddestrato al restauro delle immagini semplicemente aggiungendo rumore all'immagine di input da restaurare e poi applicando il denoising. Il nostro metodo si basa sull'osservazione che lo spazio di un modello generativo deve essere vincolato. Imponiamo questo vincolo ottimizzando il modello generativo con un insieme di immagini di ancoraggio che catturano le caratteristiche dell'immagine di input. Con lo spazio vincolato, possiamo quindi sfruttare la strategia di campionamento utilizzata per la generazione per eseguire il restauro delle immagini. Valutiamo il nostro metodo rispetto a quelli precedenti e dimostriamo prestazioni superiori su più dataset di restauro del mondo reale nel preservare l'identità e la qualità dell'immagine. Dimostriamo anche un'applicazione importante e pratica nel restauro personalizzato, dove utilizziamo un album personale come immagini di ancoraggio per vincolare lo spazio generativo. Questo approccio ci consente di produrre risultati che preservano accuratamente i dettagli ad alta frequenza, cosa che i lavori precedenti non sono in grado di fare. Pagina web del progetto: https://gen2res.github.io.

English

The inherent generative power of denoising diffusion models makes them well-suited for image restoration tasks where the objective is to find the optimal high-quality image within the generative space that closely resembles the input image. We propose a method to adapt a pretrained diffusion model for image restoration by simply adding noise to the input image to be restored and then denoise. Our method is based on the observation that the space of a generative model needs to be constrained. We impose this constraint by finetuning the generative model with a set of anchor images that capture the characteristics of the input image. With the constrained space, we can then leverage the sampling strategy used for generation to do image restoration. We evaluate against previous methods and show superior performances on multiple real-world restoration datasets in preserving identity and image quality. We also demonstrate an important and practical application on personalized restoration, where we use a personal album as the anchor images to constrain the generative space. This approach allows us to produce results that accurately preserve high-frequency details, which previous works are unable to do. Project webpage: https://gen2res.github.io.