Degradationsgesteuerte Ein-Schritt-Bild-Superauflösung mit Diffusionsprioritäten

Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors

September 25, 2024

papers.authors: Aiping Zhang, Zongsheng Yue, Renjing Pei, Wenqi Ren, Xiaochun Cao

cs.AI

papers.abstract

Diffusionsbasierte Bild-Superauflösungsmethoden haben bemerkenswerte Erfolge erzielt, indem sie große vortrainierte Text-zu-Bild-Diffusionsmodelle als Priors nutzen. Dennoch stehen diese Methoden vor zwei Herausforderungen: dem Erfordernis von Dutzenden von Abtastschritten, um zufriedenstellende Ergebnisse zu erzielen, was die Effizienz in realen Szenarien einschränkt, und der Vernachlässigung von Degradationsmodellen, die entscheidende Hilfsinformationen bei der Lösung des Superauflösungsproblems sind. In dieser Arbeit haben wir ein neuartiges Ein-Schritt-SR-Modell vorgestellt, das das Effizienzproblem von diffusionsbasierten SR-Methoden signifikant angeht. Anders als bestehende Feinabstimmungsstrategien haben wir ein Degradations-geführtes Low-Rank-Adaptations (LoRA)-Modul speziell für SR entworfen, das die Modellparameter basierend auf den vorab geschätzten Degradationsinformationen aus Niedrigauflösungsbildern korrigiert. Dieses Modul erleichtert nicht nur ein leistungsstarkes datenabhängiges oder degradationsabhängiges SR-Modell, sondern bewahrt auch den generativen Prior des vortrainierten Diffusionsmodells so weit wie möglich. Darüber hinaus haben wir eine neuartige Trainingspipeline maßgeschneidert, indem wir eine Online-Negativstichprobenerzeugungsstrategie einführen. In Kombination mit der klassifiziererfreien Leitstrategie während der Inferenz verbessert dies weitgehend die perzeptuelle Qualität der Superauflösungsergebnisse. Umfangreiche Experimente haben die überlegene Effizienz und Wirksamkeit des vorgeschlagenen Modells im Vergleich zu aktuellen State-of-the-Art-Methoden nachgewiesen.

English

Diffusion-based image super-resolution (SR) methods have achieved remarkable success by leveraging large pre-trained text-to-image diffusion models as priors. However, these methods still face two challenges: the requirement for dozens of sampling steps to achieve satisfactory results, which limits efficiency in real scenarios, and the neglect of degradation models, which are critical auxiliary information in solving the SR problem. In this work, we introduced a novel one-step SR model, which significantly addresses the efficiency issue of diffusion-based SR methods. Unlike existing fine-tuning strategies, we designed a degradation-guided Low-Rank Adaptation (LoRA) module specifically for SR, which corrects the model parameters based on the pre-estimated degradation information from low-resolution images. This module not only facilitates a powerful data-dependent or degradation-dependent SR model but also preserves the generative prior of the pre-trained diffusion model as much as possible. Furthermore, we tailor a novel training pipeline by introducing an online negative sample generation strategy. Combined with the classifier-free guidance strategy during inference, it largely improves the perceptual quality of the super-resolution results. Extensive experiments have demonstrated the superior efficiency and effectiveness of the proposed model compared to recent state-of-the-art methods.