Super-Resolución de Imágenes en un Paso Guiada por Degradación con Priors de Difusión

Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors

September 25, 2024

Autores: Aiping Zhang, Zongsheng Yue, Renjing Pei, Wenqi Ren, Xiaochun Cao

cs.AI

Resumen

Los métodos de super resolución de imágenes basados en difusión han logrado un éxito notable al aprovechar grandes modelos de difusión pre-entrenados de texto a imagen como priors. Sin embargo, estos métodos aún enfrentan dos desafíos: la necesidad de docenas de pasos de muestreo para lograr resultados satisfactorios, lo que limita la eficiencia en escenarios reales, y la negligencia de modelos de degradación, que son información auxiliar crítica en la resolución del problema de super resolución. En este trabajo, presentamos un novedoso modelo de super resolución de un solo paso, que aborda significativamente el problema de eficiencia de los métodos de super resolución basados en difusión. A diferencia de las estrategias de ajuste fino existentes, diseñamos un módulo de Adaptación de Bajo Rango Guiado por Degradación (LoRA) específicamente para super resolución, que corrige los parámetros del modelo en función de la información de degradación preestimada de imágenes de baja resolución. Este módulo no solo facilita un modelo de super resolución poderoso dependiente de datos o de degradación, sino que también preserva el prior generativo del modelo de difusión pre-entrenado tanto como sea posible. Además, adaptamos un novedoso proceso de entrenamiento al introducir una estrategia de generación de muestras negativas en línea. Combinado con la estrategia de guía sin clasificador durante la inferencia, mejora en gran medida la calidad perceptual de los resultados de super resolución. Experimentos extensos han demostrado la eficiencia y efectividad superiores del modelo propuesto en comparación con los métodos de vanguardia recientes.

English

Diffusion-based image super-resolution (SR) methods have achieved remarkable success by leveraging large pre-trained text-to-image diffusion models as priors. However, these methods still face two challenges: the requirement for dozens of sampling steps to achieve satisfactory results, which limits efficiency in real scenarios, and the neglect of degradation models, which are critical auxiliary information in solving the SR problem. In this work, we introduced a novel one-step SR model, which significantly addresses the efficiency issue of diffusion-based SR methods. Unlike existing fine-tuning strategies, we designed a degradation-guided Low-Rank Adaptation (LoRA) module specifically for SR, which corrects the model parameters based on the pre-estimated degradation information from low-resolution images. This module not only facilitates a powerful data-dependent or degradation-dependent SR model but also preserves the generative prior of the pre-trained diffusion model as much as possible. Furthermore, we tailor a novel training pipeline by introducing an online negative sample generation strategy. Combined with the classifier-free guidance strategy during inference, it largely improves the perceptual quality of the super-resolution results. Extensive experiments have demonstrated the superior efficiency and effectiveness of the proposed model compared to recent state-of-the-art methods.