ReNoise: Inversione di Immagini Reali Attraverso l'Iterazione del Rumore

ReNoise: Real Image Inversion Through Iterative Noising

March 21, 2024

Autori: Daniel Garibi, Or Patashnik, Andrey Voynov, Hadar Averbuch-Elor, Daniel Cohen-Or

cs.AI

Abstract

I recenti progressi nei modelli di diffusione guidati da testo hanno sbloccato potenti capacità di manipolazione delle immagini. Tuttavia, applicare questi metodi a immagini reali richiede l'inversione delle immagini nel dominio del modello di diffusione pre-addestrato. Raggiungere un'inversione fedele rimane una sfida, in particolare per i modelli più recenti addestrati a generare immagini con un numero ridotto di passaggi di denoising. In questo lavoro, introduciamo un metodo di inversione con un elevato rapporto qualità-operazioni, migliorando l'accuratezza della ricostruzione senza aumentare il numero di operazioni. Basandoci sull'inversione del processo di campionamento della diffusione, il nostro metodo utilizza un meccanismo di rirumore iterativo ad ogni passo di campionamento dell'inversione. Questo meccanismo affina l'approssimazione di un punto previsto lungo la traiettoria di diffusione in avanti, applicando iterativamente il modello di diffusione pre-addestrato e mediando queste previsioni. Valutiamo le prestazioni della nostra tecnica ReNoise utilizzando vari algoritmi di campionamento e modelli, inclusi i recenti modelli di diffusione accelerati. Attraverso valutazioni e confronti completi, ne dimostriamo l'efficacia in termini sia di accuratezza che di velocità. Inoltre, confermiamo che il nostro metodo preserva l'editabilità dimostrando la modifica di immagini reali guidata da testo.

English

Recent advancements in text-guided diffusion models have unlocked powerful image manipulation capabilities. However, applying these methods to real images necessitates the inversion of the images into the domain of the pretrained diffusion model. Achieving faithful inversion remains a challenge, particularly for more recent models trained to generate images with a small number of denoising steps. In this work, we introduce an inversion method with a high quality-to-operation ratio, enhancing reconstruction accuracy without increasing the number of operations. Building on reversing the diffusion sampling process, our method employs an iterative renoising mechanism at each inversion sampling step. This mechanism refines the approximation of a predicted point along the forward diffusion trajectory, by iteratively applying the pretrained diffusion model, and averaging these predictions. We evaluate the performance of our ReNoise technique using various sampling algorithms and models, including recent accelerated diffusion models. Through comprehensive evaluations and comparisons, we show its effectiveness in terms of both accuracy and speed. Furthermore, we confirm that our method preserves editability by demonstrating text-driven image editing on real images.