Super-Resolução de Imagem em Um Passo Guiada por Degradação com Priors de Difusão

Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors

September 25, 2024

Autores: Aiping Zhang, Zongsheng Yue, Renjing Pei, Wenqi Ren, Xiaochun Cao

cs.AI

Resumo

Os métodos de super-resolução de imagens baseados em difusão alcançaram sucesso notável ao aproveitar grandes modelos de difusão pré-treinados texto-imagem como priors. No entanto, esses métodos ainda enfrentam dois desafios: a necessidade de dezenas de etapas de amostragem para obter resultados satisfatórios, o que limita a eficiência em cenários reais, e a negligência de modelos de degradação, que são informações auxiliares críticas na resolução do problema de super-resolução. Neste trabalho, introduzimos um novo modelo de super-resolução de um passo, que aborda significativamente o problema de eficiência dos métodos de super-resolução baseados em difusão. Ao contrário das estratégias de ajuste fino existentes, projetamos um módulo de Adaptação de Baixa Patente (LoRA) guiado por degradação especificamente para super-resolução, que corrige os parâmetros do modelo com base nas informações de degradação pré-estimadas de imagens de baixa resolução. Este módulo não apenas facilita um modelo de super-resolução poderoso dependente de dados ou degradação, mas também preserva o prior generativo do modelo de difusão pré-treinado o máximo possível. Além disso, adaptamos um novo pipeline de treinamento introduzindo uma estratégia de geração de amostras negativas online. Combinado com a estratégia de orientação livre de classificador durante a inferência, melhora significativamente a qualidade perceptual dos resultados de super-resolução. Experimentos extensivos demonstraram a eficiência e eficácia superiores do modelo proposto em comparação com os métodos recentes de ponta.

English

Diffusion-based image super-resolution (SR) methods have achieved remarkable success by leveraging large pre-trained text-to-image diffusion models as priors. However, these methods still face two challenges: the requirement for dozens of sampling steps to achieve satisfactory results, which limits efficiency in real scenarios, and the neglect of degradation models, which are critical auxiliary information in solving the SR problem. In this work, we introduced a novel one-step SR model, which significantly addresses the efficiency issue of diffusion-based SR methods. Unlike existing fine-tuning strategies, we designed a degradation-guided Low-Rank Adaptation (LoRA) module specifically for SR, which corrects the model parameters based on the pre-estimated degradation information from low-resolution images. This module not only facilitates a powerful data-dependent or degradation-dependent SR model but also preserves the generative prior of the pre-trained diffusion model as much as possible. Furthermore, we tailor a novel training pipeline by introducing an online negative sample generation strategy. Combined with the classifier-free guidance strategy during inference, it largely improves the perceptual quality of the super-resolution results. Extensive experiments have demonstrated the superior efficiency and effectiveness of the proposed model compared to recent state-of-the-art methods.