Benutten van diffusieprior voor superresolutie van real-world afbeeldingen

Exploiting Diffusion Prior for Real-World Image Super-Resolution

May 11, 2023

Auteurs: Jianyi Wang, Zongsheng Yue, Shangchen Zhou, Kelvin C. K. Chan, Chen Change Loy

cs.AI

Samenvatting

We presenteren een nieuwe aanpak om voorkennis die is vastgelegd in vooraf getrainde tekst-naar-beeld diffusiemodellen te benutten voor blinde superresolutie (SR). Specifiek kunnen we, door gebruik te maken van onze tijdgevoelige encoder, veelbelovende herstelresultaten bereiken zonder het vooraf getrainde synthesemodel aan te passen, waardoor de generatieve voorkennis behouden blijft en de trainingskosten worden geminimaliseerd. Om het verlies van nauwkeurigheid veroorzaakt door de inherente stochastiek van diffusiemodellen te verhelpen, introduceren we een controleerbare feature wrapping module die gebruikers in staat stelt om kwaliteit en nauwkeurigheid in balans te brengen door simpelweg een scalaire waarde aan te passen tijdens het inferentieproces. Bovendien ontwikkelen we een progressieve aggregatie samplingstrategie om de vaste groottebeperkingen van vooraf getrainde diffusiemodellen te overwinnen, waardoor aanpassing aan resoluties van elke grootte mogelijk wordt. Een uitgebreide evaluatie van onze methode met behulp van zowel synthetische als real-world benchmarks toont de superioriteit aan ten opzichte van de huidige state-of-the-art benaderingen.

English

We present a novel approach to leverage prior knowledge encapsulated in pre-trained text-to-image diffusion models for blind super-resolution (SR). Specifically, by employing our time-aware encoder, we can achieve promising restoration results without altering the pre-trained synthesis model, thereby preserving the generative prior and minimizing training cost. To remedy the loss of fidelity caused by the inherent stochasticity of diffusion models, we introduce a controllable feature wrapping module that allows users to balance quality and fidelity by simply adjusting a scalar value during the inference process. Moreover, we develop a progressive aggregation sampling strategy to overcome the fixed-size constraints of pre-trained diffusion models, enabling adaptation to resolutions of any size. A comprehensive evaluation of our method using both synthetic and real-world benchmarks demonstrates its superiority over current state-of-the-art approaches.