Restauración mediante Generación con Priores Constreñidos

Restoration by Generation with Constrained Priors

December 28, 2023

Autores: Zheng Ding, Xuaner Zhang, Zhuowen Tu, Zhihao Xia

cs.AI

Resumen

El poder generativo inherente de los modelos de difusión de eliminación de ruido los hace especialmente adecuados para tareas de restauración de imágenes, donde el objetivo es encontrar la imagen de alta calidad óptima dentro del espacio generativo que se asemeje estrechamente a la imagen de entrada. Proponemos un método para adaptar un modelo de difusión preentrenado para la restauración de imágenes simplemente añadiendo ruido a la imagen de entrada que se desea restaurar y luego eliminándolo. Nuestro método se basa en la observación de que el espacio de un modelo generativo necesita estar restringido. Imponemos esta restricción ajustando el modelo generativo con un conjunto de imágenes de anclaje que capturan las características de la imagen de entrada. Con el espacio restringido, podemos entonces aprovechar la estrategia de muestreo utilizada para la generación para realizar la restauración de imágenes. Evaluamos nuestro método frente a enfoques anteriores y mostramos un rendimiento superior en múltiples conjuntos de datos de restauración del mundo real, preservando la identidad y la calidad de la imagen. También demostramos una aplicación importante y práctica en la restauración personalizada, donde utilizamos un álbum personal como imágenes de anclaje para restringir el espacio generativo. Este enfoque nos permite producir resultados que preservan con precisión los detalles de alta frecuencia, algo que los trabajos anteriores no logran hacer. Página web del proyecto: https://gen2res.github.io.

English

The inherent generative power of denoising diffusion models makes them well-suited for image restoration tasks where the objective is to find the optimal high-quality image within the generative space that closely resembles the input image. We propose a method to adapt a pretrained diffusion model for image restoration by simply adding noise to the input image to be restored and then denoise. Our method is based on the observation that the space of a generative model needs to be constrained. We impose this constraint by finetuning the generative model with a set of anchor images that capture the characteristics of the input image. With the constrained space, we can then leverage the sampling strategy used for generation to do image restoration. We evaluate against previous methods and show superior performances on multiple real-world restoration datasets in preserving identity and image quality. We also demonstrate an important and practical application on personalized restoration, where we use a personal album as the anchor images to constrain the generative space. This approach allows us to produce results that accurately preserve high-frequency details, which previous works are unable to do. Project webpage: https://gen2res.github.io.