Super-resolução de Imagens em Passos Arbitrários via Inversão por Difusão

Arbitrary-steps Image Super-resolution via Diffusion Inversion

December 12, 2024

Autores: Zongsheng Yue, Kang Liao, Chen Change Loy

cs.AI

Resumo

Este estudo apresenta uma nova técnica de super-resolução de imagem (SR) baseada em inversão de difusão, com o objetivo de aproveitar os ricos conhecimentos prévios de imagem encapsulados em grandes modelos de difusão pré-treinados para melhorar o desempenho de SR. Nós projetamos uma estratégia de Previsão Parcial de Ruído para construir um estado intermediário do modelo de difusão, que serve como ponto de amostragem inicial. No centro de nossa abordagem está um preditor de ruído profundo para estimar os mapas de ruído ótimos para o processo de difusão direta. Uma vez treinado, este preditor de ruído pode ser usado para inicializar parcialmente o processo de amostragem ao longo da trajetória de difusão, gerando o resultado de alta resolução desejado. Comparado às abordagens existentes, nosso método oferece um mecanismo de amostragem flexível e eficiente que suporta um número arbitrário de etapas de amostragem, variando de uma a cinco. Mesmo com uma única etapa de amostragem, nosso método demonstra desempenho superior ou comparável às abordagens recentes de ponta. O código e o modelo estão disponíveis publicamente em https://github.com/zsyOAOA/InvSR.

English

This study presents a new image super-resolution (SR) technique based on diffusion inversion, aiming at harnessing the rich image priors encapsulated in large pre-trained diffusion models to improve SR performance. We design a Partial noise Prediction strategy to construct an intermediate state of the diffusion model, which serves as the starting sampling point. Central to our approach is a deep noise predictor to estimate the optimal noise maps for the forward diffusion process. Once trained, this noise predictor can be used to initialize the sampling process partially along the diffusion trajectory, generating the desirable high-resolution result. Compared to existing approaches, our method offers a flexible and efficient sampling mechanism that supports an arbitrary number of sampling steps, ranging from one to five. Even with a single sampling step, our method demonstrates superior or comparable performance to recent state-of-the-art approaches. The code and model are publicly available at https://github.com/zsyOAOA/InvSR.