ReNoise: Inversão de Imagens Reais Através de Iterações de Adição de Ruído

ReNoise: Real Image Inversion Through Iterative Noising

March 21, 2024

Autores: Daniel Garibi, Or Patashnik, Andrey Voynov, Hadar Averbuch-Elor, Daniel Cohen-Or

cs.AI

Resumo

Avanços recentes em modelos de difusão guiados por texto desbloquearam poderosas capacidades de manipulação de imagens. No entanto, a aplicação desses métodos a imagens reais exige a inversão das imagens no domínio do modelo de difusão pré-treinado. Alcançar uma inversão fiel continua sendo um desafio, especialmente para modelos mais recentes treinados para gerar imagens com um número reduzido de etapas de remoção de ruído. Neste trabalho, introduzimos um método de inversão com uma alta relação qualidade-operação, aprimorando a precisão da reconstrução sem aumentar o número de operações. Baseando-se na reversão do processo de amostragem de difusão, nosso método emprega um mecanismo iterativo de reaplicação de ruído em cada etapa de amostragem de inversão. Esse mecanismo refina a aproximação de um ponto previsto ao longo da trajetória de difusão direta, aplicando iterativamente o modelo de difusão pré-treinado e calculando a média dessas previsões. Avaliamos o desempenho de nossa técnica ReNoise usando vários algoritmos de amostragem e modelos, incluindo modelos de difusão acelerados recentes. Por meio de avaliações e comparações abrangentes, demonstramos sua eficácia em termos de precisão e velocidade. Além disso, confirmamos que nosso método preserva a editabilidade ao demonstrar a edição de imagens reais guiada por texto.

English

Recent advancements in text-guided diffusion models have unlocked powerful image manipulation capabilities. However, applying these methods to real images necessitates the inversion of the images into the domain of the pretrained diffusion model. Achieving faithful inversion remains a challenge, particularly for more recent models trained to generate images with a small number of denoising steps. In this work, we introduce an inversion method with a high quality-to-operation ratio, enhancing reconstruction accuracy without increasing the number of operations. Building on reversing the diffusion sampling process, our method employs an iterative renoising mechanism at each inversion sampling step. This mechanism refines the approximation of a predicted point along the forward diffusion trajectory, by iteratively applying the pretrained diffusion model, and averaging these predictions. We evaluate the performance of our ReNoise technique using various sampling algorithms and models, including recent accelerated diffusion models. Through comprehensive evaluations and comparisons, we show its effectiveness in terms of both accuracy and speed. Furthermore, we confirm that our method preserves editability by demonstrating text-driven image editing on real images.