Super-résolution d'images en une étape guidée par la dégradation avec des prédictions de diffusion

Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors

September 25, 2024

Auteurs: Aiping Zhang, Zongsheng Yue, Renjing Pei, Wenqi Ren, Xiaochun Cao

cs.AI

Résumé

Les méthodes de super-résolution d'images basées sur la diffusion ont connu un succès remarquable en exploitant de grands modèles de diffusion pré-entraînés texte-image comme des préférences. Cependant, ces méthodes sont confrontées à deux défis : l'exigence de dizaines d'étapes d'échantillonnage pour obtenir des résultats satisfaisants, ce qui limite l'efficacité dans des scénarios réels, et la négligence des modèles de dégradation, qui sont des informations auxiliaires cruciales pour résoudre le problème de super-résolution. Dans ce travail, nous avons introduit un nouveau modèle de super-résolution en une étape, qui aborde significativement le problème d'efficacité des méthodes de super-résolution basées sur la diffusion. Contrairement aux stratégies de fine-tuning existantes, nous avons conçu un module d'Adaptation à Faible Rang (LoRA) guidé par la dégradation spécifiquement pour la super-résolution, qui corrige les paramètres du modèle en se basant sur les informations de dégradation pré-estimées à partir des images à basse résolution. Ce module facilite non seulement un modèle de super-résolution puissant dépendant des données ou de la dégradation, mais préserve également autant que possible la préférence générative du modèle de diffusion pré-entraîné. De plus, nous avons adapté un nouveau pipeline d'entraînement en introduisant une stratégie de génération d'échantillons négatifs en ligne. Associée à la stratégie de guidage sans classifieur lors de l'inférence, elle améliore largement la qualité perceptuelle des résultats de super-résolution. Des expériences approfondies ont démontré l'efficacité et l'efficacité supérieures du modèle proposé par rapport aux méthodes récentes de pointe.

English

Diffusion-based image super-resolution (SR) methods have achieved remarkable success by leveraging large pre-trained text-to-image diffusion models as priors. However, these methods still face two challenges: the requirement for dozens of sampling steps to achieve satisfactory results, which limits efficiency in real scenarios, and the neglect of degradation models, which are critical auxiliary information in solving the SR problem. In this work, we introduced a novel one-step SR model, which significantly addresses the efficiency issue of diffusion-based SR methods. Unlike existing fine-tuning strategies, we designed a degradation-guided Low-Rank Adaptation (LoRA) module specifically for SR, which corrects the model parameters based on the pre-estimated degradation information from low-resolution images. This module not only facilitates a powerful data-dependent or degradation-dependent SR model but also preserves the generative prior of the pre-trained diffusion model as much as possible. Furthermore, we tailor a novel training pipeline by introducing an online negative sample generation strategy. Combined with the classifier-free guidance strategy during inference, it largely improves the perceptual quality of the super-resolution results. Extensive experiments have demonstrated the superior efficiency and effectiveness of the proposed model compared to recent state-of-the-art methods.