Сверхразрешение изображений с помощью произвольных шагов через инверсию диффузии

Arbitrary-steps Image Super-resolution via Diffusion Inversion

December 12, 2024

Авторы: Zongsheng Yue, Kang Liao, Chen Change Loy

cs.AI

Аннотация

Данное исследование представляет новый метод суперразрешения изображений (SR) на основе инверсии диффузии, направленный на использование богатых априорных данных изображений, заключенных в больших предварительно обученных моделях диффузии, для улучшения производительности SR. Мы разработали стратегию Частичного предсказания шума для создания промежуточного состояния модели диффузии, которое служит отправной точкой для выборки. Основой нашего подхода является глубокий предсказатель шума для оценки оптимальных карт шума для процесса прямой диффузии. После обучения этот предсказатель шума может быть использован для инициализации процесса выборки частично вдоль траектории диффузии, генерируя желаемый результат высокого разрешения. По сравнению с существующими методами, наш метод предлагает гибкий и эффективный механизм выборки, поддерживающий произвольное количество шагов выборки, от одного до пяти. Даже с одним шагом выборки наш метод демонстрирует превосходную или сравнимую производительность по сравнению с последними передовыми методами. Код и модель доступны публично по адресу https://github.com/zsyOAOA/InvSR.

English

This study presents a new image super-resolution (SR) technique based on diffusion inversion, aiming at harnessing the rich image priors encapsulated in large pre-trained diffusion models to improve SR performance. We design a Partial noise Prediction strategy to construct an intermediate state of the diffusion model, which serves as the starting sampling point. Central to our approach is a deep noise predictor to estimate the optimal noise maps for the forward diffusion process. Once trained, this noise predictor can be used to initialize the sampling process partially along the diffusion trajectory, generating the desirable high-resolution result. Compared to existing approaches, our method offers a flexible and efficient sampling mechanism that supports an arbitrary number of sampling steps, ranging from one to five. Even with a single sampling step, our method demonstrates superior or comparable performance to recent state-of-the-art approaches. The code and model are publicly available at https://github.com/zsyOAOA/InvSR.