Aprovechando el Prior de Difusión para la Superresolución de Imágenes del Mundo Real

Exploiting Diffusion Prior for Real-World Image Super-Resolution

May 11, 2023

Autores: Jianyi Wang, Zongsheng Yue, Shangchen Zhou, Kelvin C. K. Chan, Chen Change Loy

cs.AI

Resumen

Presentamos un enfoque novedoso para aprovechar el conocimiento previo encapsulado en modelos de difusión de texto a imagen preentrenados para la super-resolución ciega (SR). Específicamente, al emplear nuestro codificador consciente del tiempo, podemos lograr resultados de restauración prometedores sin alterar el modelo de síntesis preentrenado, preservando así el prior generativo y minimizando el costo de entrenamiento. Para remediar la pérdida de fidelidad causada por la estocasticidad inherente de los modelos de difusión, introducimos un módulo de envoltura de características controlable que permite a los usuarios equilibrar calidad y fidelidad simplemente ajustando un valor escalar durante el proceso de inferencia. Además, desarrollamos una estrategia de muestreo de agregación progresiva para superar las limitaciones de tamaño fijo de los modelos de difusión preentrenados, permitiendo la adaptación a resoluciones de cualquier tamaño. Una evaluación exhaustiva de nuestro método utilizando tanto benchmarks sintéticos como del mundo real demuestra su superioridad sobre los enfoques actuales más avanzados.

English

We present a novel approach to leverage prior knowledge encapsulated in pre-trained text-to-image diffusion models for blind super-resolution (SR). Specifically, by employing our time-aware encoder, we can achieve promising restoration results without altering the pre-trained synthesis model, thereby preserving the generative prior and minimizing training cost. To remedy the loss of fidelity caused by the inherent stochasticity of diffusion models, we introduce a controllable feature wrapping module that allows users to balance quality and fidelity by simply adjusting a scalar value during the inference process. Moreover, we develop a progressive aggregation sampling strategy to overcome the fixed-size constraints of pre-trained diffusion models, enabling adaptation to resolutions of any size. A comprehensive evaluation of our method using both synthetic and real-world benchmarks demonstrates its superiority over current state-of-the-art approaches.