Улучшение изображений с одним шагом на основе деградации с диффузионными априорными данными

Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors

September 25, 2024

Авторы: Aiping Zhang, Zongsheng Yue, Renjing Pei, Wenqi Ren, Xiaochun Cao

cs.AI

Аннотация

Методы суперразрешения изображений на основе диффузии достигли значительного успеха, используя большие заранее обученные модели диффузии текста в изображение в качестве априорных знаний. Однако эти методы по-прежнему сталкиваются с двумя проблемами: необходимостью десятков этапов выборки для достижения удовлетворительных результатов, что ограничивает эффективность в реальных сценариях, и игнорированием моделей деградации, которые являются важной вспомогательной информацией при решении проблемы суперразрешения. В данной работе мы представляем новую модель суперразрешения за один шаг, которая значительно решает проблему эффективности методов суперразрешения на основе диффузии. В отличие от существующих стратегий дообучения, мы разработали модуль Low-Rank Adaptation (LoRA), специально предназначенный для суперразрешения, который корректирует параметры модели на основе предварительно оцененной информации о деградации из низкоразрешенных изображений. Этот модуль не только облегчает создание мощной модели суперразрешения, зависящей от данных или деградации, но также максимально сохраняет генеративное априорное знание заранее обученной модели диффузии. Кроме того, мы разработали новую схему обучения, внедрив стратегию генерации отрицательных образцов в реальном времени. В сочетании с стратегией руководства без классификатора во время вывода, это значительно улучшает воспринимаемое качество результатов суперразрешения. Обширные эксперименты продемонстрировали превосходную эффективность и эффективность предложенной модели по сравнению с недавними передовыми методами.

English

Diffusion-based image super-resolution (SR) methods have achieved remarkable success by leveraging large pre-trained text-to-image diffusion models as priors. However, these methods still face two challenges: the requirement for dozens of sampling steps to achieve satisfactory results, which limits efficiency in real scenarios, and the neglect of degradation models, which are critical auxiliary information in solving the SR problem. In this work, we introduced a novel one-step SR model, which significantly addresses the efficiency issue of diffusion-based SR methods. Unlike existing fine-tuning strategies, we designed a degradation-guided Low-Rank Adaptation (LoRA) module specifically for SR, which corrects the model parameters based on the pre-estimated degradation information from low-resolution images. This module not only facilitates a powerful data-dependent or degradation-dependent SR model but also preserves the generative prior of the pre-trained diffusion model as much as possible. Furthermore, we tailor a novel training pipeline by introducing an online negative sample generation strategy. Combined with the classifier-free guidance strategy during inference, it largely improves the perceptual quality of the super-resolution results. Extensive experiments have demonstrated the superior efficiency and effectiveness of the proposed model compared to recent state-of-the-art methods.