Super-resolución de imágenes de pasos arbitrarios a través de la inversión de difusión

Arbitrary-steps Image Super-resolution via Diffusion Inversion

December 12, 2024

Autores: Zongsheng Yue, Kang Liao, Chen Change Loy

cs.AI

Resumen

Este estudio presenta una nueva técnica de super-resolución de imágenes (SR) basada en la inversión de difusión, con el objetivo de aprovechar los ricos conocimientos previos de imagen encapsulados en grandes modelos de difusión pre-entrenados para mejorar el rendimiento de SR. Diseñamos una estrategia de Predicción parcial de ruido para construir un estado intermedio del modelo de difusión, que sirve como punto de muestreo inicial. En el centro de nuestro enfoque se encuentra un predictor profundo de ruido para estimar los mapas de ruido óptimos para el proceso de difusión hacia adelante. Una vez entrenado, este predictor de ruido puede utilizarse para inicializar parcialmente el proceso de muestreo a lo largo de la trayectoria de difusión, generando el deseado resultado de alta resolución. En comparación con enfoques existentes, nuestro método ofrece un mecanismo de muestreo flexible y eficiente que admite un número arbitrario de pasos de muestreo, que van desde uno hasta cinco. Incluso con un solo paso de muestreo, nuestro método demuestra un rendimiento superior o comparable a enfoques de vanguardia recientes. El código y el modelo están disponibles públicamente en https://github.com/zsyOAOA/InvSR.

English

This study presents a new image super-resolution (SR) technique based on diffusion inversion, aiming at harnessing the rich image priors encapsulated in large pre-trained diffusion models to improve SR performance. We design a Partial noise Prediction strategy to construct an intermediate state of the diffusion model, which serves as the starting sampling point. Central to our approach is a deep noise predictor to estimate the optimal noise maps for the forward diffusion process. Once trained, this noise predictor can be used to initialize the sampling process partially along the diffusion trajectory, generating the desirable high-resolution result. Compared to existing approaches, our method offers a flexible and efficient sampling mechanism that supports an arbitrary number of sampling steps, ranging from one to five. Even with a single sampling step, our method demonstrates superior or comparable performance to recent state-of-the-art approaches. The code and model are publicly available at https://github.com/zsyOAOA/InvSR.