Restauração por Geração com Priores Restritos

Restoration by Generation with Constrained Priors

December 28, 2023

Autores: Zheng Ding, Xuaner Zhang, Zhuowen Tu, Zhihao Xia

cs.AI

Resumo

O poder gerativo inerente dos modelos de difusão de remoção de ruído os torna bem adequados para tarefas de restauração de imagens, onde o objetivo é encontrar a imagem de alta qualidade ideal dentro do espaço gerativo que se assemelhe de perto à imagem de entrada. Propomos um método para adaptar um modelo de difusão pré-treinado para restauração de imagens simplesmente adicionando ruído à imagem de entrada a ser restaurada e, em seguida, removendo o ruído. Nosso método é baseado na observação de que o espaço de um modelo gerativo precisa ser restringido. Impondo essa restrição ao ajustar o modelo gerativo com um conjunto de imagens âncora que capturam as características da imagem de entrada. Com o espaço restrito, podemos então aproveitar a estratégia de amostragem usada para geração para realizar a restauração de imagens. Avaliamos em comparação com métodos anteriores e mostramos desempenhos superiores em múltiplos conjuntos de dados de restauração do mundo real, preservando identidade e qualidade da imagem. Também demonstramos uma aplicação importante e prática na restauração personalizada, onde usamos um álbum pessoal como as imagens âncora para restringir o espaço gerativo. Essa abordagem nos permite produzir resultados que preservam com precisão detalhes de alta frequência, o que trabalhos anteriores não conseguem fazer. Página do projeto: https://gen2res.github.io.

English

The inherent generative power of denoising diffusion models makes them well-suited for image restoration tasks where the objective is to find the optimal high-quality image within the generative space that closely resembles the input image. We propose a method to adapt a pretrained diffusion model for image restoration by simply adding noise to the input image to be restored and then denoise. Our method is based on the observation that the space of a generative model needs to be constrained. We impose this constraint by finetuning the generative model with a set of anchor images that capture the characteristics of the input image. With the constrained space, we can then leverage the sampling strategy used for generation to do image restoration. We evaluate against previous methods and show superior performances on multiple real-world restoration datasets in preserving identity and image quality. We also demonstrate an important and practical application on personalized restoration, where we use a personal album as the anchor images to constrain the generative space. This approach allows us to produce results that accurately preserve high-frequency details, which previous works are unable to do. Project webpage: https://gen2res.github.io.