Begeleide degradatie-geleide beeldsuperresolutie in één stap met diffusieprioriteiten

Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors

September 25, 2024

Auteurs: Aiping Zhang, Zongsheng Yue, Renjing Pei, Wenqi Ren, Xiaochun Cao

cs.AI

Samenvatting

Diffusie-gebaseerde beeld-superresolutie (SR) methoden hebben opmerkelijk succes behaald door gebruik te maken van grote vooraf getrainde tekst-naar-beeld diffusie modellen als prior. Echter, deze methoden staan nog steeds voor twee uitdagingen: de vereiste van tientallen bemonsteringsstappen om bevredigende resultaten te behalen, wat de efficiëntie in echte scenario's beperkt, en het verwaarlozen van de degradatiemodellen, die cruciale aanvullende informatie zijn bij het oplossen van het SR probleem. In dit werk hebben we een nieuw een-stap SR model geïntroduceerd, dat aanzienlijk het efficiëntieprobleem van diffusie-gebaseerde SR methoden aanpakt. In tegenstelling tot bestaande fine-tuning strategieën, hebben we een degradatie-geleide Low-Rank Adaptation (LoRA) module ontworpen, specifiek voor SR, die de modelparameters corrigeert op basis van de vooraf geschatte degradatie-informatie van lage-resolutie beelden. Deze module vergemakkelijkt niet alleen een krachtig datagestuurd of degradatie-afhankelijk SR model, maar behoudt ook de generatieve prior van het vooraf getrainde diffusiemodel zoveel mogelijk. Bovendien hebben we een nieuw trainingsproces op maat gemaakt door een online negatieve steekproefgeneratiestrategie te introduceren. Gecombineerd met de classifier-vrije begeleidingsstrategie tijdens inferentie, verbetert dit grotendeels de perceptuele kwaliteit van de superresolutieresultaten. Uitgebreide experimenten hebben de superieure efficiëntie en effectiviteit van het voorgestelde model aangetoond in vergelijking met recente state-of-the-art methoden.

English

Diffusion-based image super-resolution (SR) methods have achieved remarkable success by leveraging large pre-trained text-to-image diffusion models as priors. However, these methods still face two challenges: the requirement for dozens of sampling steps to achieve satisfactory results, which limits efficiency in real scenarios, and the neglect of degradation models, which are critical auxiliary information in solving the SR problem. In this work, we introduced a novel one-step SR model, which significantly addresses the efficiency issue of diffusion-based SR methods. Unlike existing fine-tuning strategies, we designed a degradation-guided Low-Rank Adaptation (LoRA) module specifically for SR, which corrects the model parameters based on the pre-estimated degradation information from low-resolution images. This module not only facilitates a powerful data-dependent or degradation-dependent SR model but also preserves the generative prior of the pre-trained diffusion model as much as possible. Furthermore, we tailor a novel training pipeline by introducing an online negative sample generation strategy. Combined with the classifier-free guidance strategy during inference, it largely improves the perceptual quality of the super-resolution results. Extensive experiments have demonstrated the superior efficiency and effectiveness of the proposed model compared to recent state-of-the-art methods.