Super-Risoluzione di Immagini in un Passaggio Guidata dalla Degradazione con Priorità di Diffusione

Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors

September 25, 2024

Autori: Aiping Zhang, Zongsheng Yue, Renjing Pei, Wenqi Ren, Xiaochun Cao

cs.AI

Abstract

I metodi di super risoluzione (SR) basati sulla diffusione delle immagini hanno ottenuto un notevole successo sfruttando ampi modelli di diffusione pre-addestrati testo-immagine come prior. Tuttavia, questi metodi si trovano ancora di fronte a due sfide: il requisito di diverse fasi di campionamento per ottenere risultati soddisfacenti, che limita l'efficienza in scenari reali, e la trascuratezza dei modelli di degradazione, che costituiscono informazioni ausiliarie critiche nella risoluzione del problema SR. In questo lavoro, abbiamo introdotto un nuovo modello SR in un passaggio, che affronta significativamente il problema dell'efficienza dei metodi SR basati sulla diffusione. A differenza delle strategie di fine-tuning esistenti, abbiamo progettato un modulo di Adattamento Low-Rank (LoRA) guidato dalla degradazione specificamente per SR, che corregge i parametri del modello basandosi sulle informazioni di degradazione pre-stimate dalle immagini a bassa risoluzione. Questo modulo non solo facilita un potente modello SR dipendente dai dati o dalla degradazione, ma preserva anche il prior generativo del modello di diffusione pre-addestrato il più possibile. Inoltre, abbiamo adattato un nuovo processo di addestramento introducendo una strategia di generazione di campioni negativi online. Combinata con la strategia di guida senza classificatore durante l'inferezza, migliora notevolmente la qualità percettiva dei risultati di super risoluzione. Estesi esperimenti hanno dimostrato l'efficienza e l'efficacia superiori del modello proposto rispetto ai recenti metodi all'avanguardia.

English

Diffusion-based image super-resolution (SR) methods have achieved remarkable success by leveraging large pre-trained text-to-image diffusion models as priors. However, these methods still face two challenges: the requirement for dozens of sampling steps to achieve satisfactory results, which limits efficiency in real scenarios, and the neglect of degradation models, which are critical auxiliary information in solving the SR problem. In this work, we introduced a novel one-step SR model, which significantly addresses the efficiency issue of diffusion-based SR methods. Unlike existing fine-tuning strategies, we designed a degradation-guided Low-Rank Adaptation (LoRA) module specifically for SR, which corrects the model parameters based on the pre-estimated degradation information from low-resolution images. This module not only facilitates a powerful data-dependent or degradation-dependent SR model but also preserves the generative prior of the pre-trained diffusion model as much as possible. Furthermore, we tailor a novel training pipeline by introducing an online negative sample generation strategy. Combined with the classifier-free guidance strategy during inference, it largely improves the perceptual quality of the super-resolution results. Extensive experiments have demonstrated the superior efficiency and effectiveness of the proposed model compared to recent state-of-the-art methods.