Guida-e-Riscalatura: Meccanismo di Auto-Guidanza per un'Editing Efficace di Immagini Reali Senza Apprendimento

Guide-and-Rescale: Self-Guidance Mechanism for Effective Tuning-Free Real Image Editing

September 2, 2024

Autori: Vadim Titov, Madina Khalmatova, Alexandra Ivanova, Dmitry Vetrov, Aibek Alanov

cs.AI

Abstract

Nonostante i recenti progressi nei modelli generativi su larga scala per la creazione di immagini da testo, la manipolazione di immagini reali con questi modelli rimane un problema complesso. Le principali limitazioni dei metodi di editing esistenti sono l'incapacità di operare con una qualità costante su un'ampia gamma di modifiche o la necessità di una lunga ottimizzazione degli iperparametri o di un fine-tuning del modello di diffusione per preservare l'aspetto specifico dell'immagine di input. Proponiamo un approccio innovativo basato su un processo di campionamento della diffusione modificato tramite un meccanismo di guida. In questo lavoro, esploriamo la tecnica di auto-guidaggio per preservare la struttura complessiva dell'immagine di input e l'aspetto delle sue regioni locali che non dovrebbero essere modificate. In particolare, introduciamo esplicitamente funzioni di energia che preservano il layout, mirate a conservare le strutture locali e globali dell'immagine sorgente. Inoltre, proponiamo un meccanismo di riscalaggio del rumore che permette di preservare la distribuzione del rumore bilanciando le norme della guida senza classificatore e dei nostri guide proposti durante la generazione. Questo approccio di guida non richiede il fine-tuning del modello di diffusione né un esatto processo di inversione. Di conseguenza, il metodo proposto fornisce un meccanismo di editing rapido e di alta qualità. Nei nostri esperimenti, mostriamo attraverso valutazioni umane e analisi quantitative che il metodo proposto consente di produrre le modifiche desiderate, che sono preferite dagli esseri umani, e raggiunge anche un miglior compromesso tra la qualità dell'editing e la preservazione dell'immagine originale. Il nostro codice è disponibile all'indirizzo https://github.com/FusionBrainLab/Guide-and-Rescale.

English

Despite recent advances in large-scale text-to-image generative models, manipulating real images with these models remains a challenging problem. The main limitations of existing editing methods are that they either fail to perform with consistent quality on a wide range of image edits or require time-consuming hyperparameter tuning or fine-tuning of the diffusion model to preserve the image-specific appearance of the input image. We propose a novel approach that is built upon a modified diffusion sampling process via the guidance mechanism. In this work, we explore the self-guidance technique to preserve the overall structure of the input image and its local regions appearance that should not be edited. In particular, we explicitly introduce layout-preserving energy functions that are aimed to save local and global structures of the source image. Additionally, we propose a noise rescaling mechanism that allows to preserve noise distribution by balancing the norms of classifier-free guidance and our proposed guiders during generation. Such a guiding approach does not require fine-tuning the diffusion model and exact inversion process. As a result, the proposed method provides a fast and high-quality editing mechanism. In our experiments, we show through human evaluation and quantitative analysis that the proposed method allows to produce desired editing which is more preferable by humans and also achieves a better trade-off between editing quality and preservation of the original image. Our code is available at https://github.com/FusionBrainLab/Guide-and-Rescale.