Beeldsuperresolutie met willekeurige stappen via diffusie-inversie

Arbitrary-steps Image Super-resolution via Diffusion Inversion

December 12, 2024

Auteurs: Zongsheng Yue, Kang Liao, Chen Change Loy

cs.AI

Samenvatting

Deze studie presenteert een nieuwe beeld-superresolutie (SR) techniek gebaseerd op diffusie-inversie, met als doel de rijke beeldpriori's die zijn ingekapseld in grote vooraf getrainde diffusiemodellen te benutten om de SR-prestaties te verbeteren. We ontwerpen een strategie voor Gedeeltelijke ruisvoorspelling om een tussenliggende toestand van het diffusiemodel te construeren, die dient als het startpunt van de bemonstering. Centraal in onze aanpak staat een diepe ruisvoorspeller om de optimale ruiskaarten te schatten voor het voorwaartse diffusieproces. Eenmaal getraind, kan deze ruisvoorspeller worden gebruikt om het bemonsteringsproces gedeeltelijk langs de diffusietraject te initialiseren, waardoor het gewenste hoogwaardige resultaat wordt gegenereerd. In vergelijking met bestaande benaderingen biedt onze methode een flexibel en efficiënt bemonsteringsmechanisme dat een willekeurig aantal bemonsteringsstappen ondersteunt, variërend van één tot vijf. Zelfs met één bemonsteringsstap vertoont onze methode superieure of vergelijkbare prestaties ten opzichte van recente state-of-the-art benaderingen. De code en het model zijn openbaar beschikbaar op https://github.com/zsyOAOA/InvSR.

English

This study presents a new image super-resolution (SR) technique based on diffusion inversion, aiming at harnessing the rich image priors encapsulated in large pre-trained diffusion models to improve SR performance. We design a Partial noise Prediction strategy to construct an intermediate state of the diffusion model, which serves as the starting sampling point. Central to our approach is a deep noise predictor to estimate the optimal noise maps for the forward diffusion process. Once trained, this noise predictor can be used to initialize the sampling process partially along the diffusion trajectory, generating the desirable high-resolution result. Compared to existing approaches, our method offers a flexible and efficient sampling mechanism that supports an arbitrary number of sampling steps, ranging from one to five. Even with a single sampling step, our method demonstrates superior or comparable performance to recent state-of-the-art approaches. The code and model are publicly available at https://github.com/zsyOAOA/InvSR.