Guide-and-Rescale: Mecanismo de Autoguiado para una Edición Efectiva de Imágenes Reales sin Ajustes

Guide-and-Rescale: Self-Guidance Mechanism for Effective Tuning-Free Real Image Editing

September 2, 2024

Autores: Vadim Titov, Madina Khalmatova, Alexandra Ivanova, Dmitry Vetrov, Aibek Alanov

cs.AI

Resumen

A pesar de los recientes avances en los modelos generativos de texto a imagen a gran escala, la manipulación de imágenes reales con estos modelos sigue siendo un problema desafiante. Las principales limitaciones de los métodos de edición existentes son que o bien no logran mantener una calidad consistente en una amplia gama de ediciones de imágenes, o bien requieren un ajuste tedioso de hiperparámetros o un ajuste fino del modelo de difusión para preservar la apariencia específica de la imagen de entrada. Proponemos un enfoque novedoso que se basa en un proceso de muestreo de difusión modificado mediante un mecanismo de guía. En este trabajo, exploramos la técnica de autoguiado para preservar la estructura general de la imagen de entrada y la apariencia de sus regiones locales que no deben ser editadas. En particular, introducimos explícitamente funciones de energía que preservan el diseño y están destinadas a conservar las estructuras locales y globales de la imagen fuente. Además, proponemos un mecanismo de reescalado de ruido que permite preservar la distribución del ruido equilibrando las normas de la guía sin clasificador y nuestros guías propuestos durante la generación. Este enfoque de guiado no requiere ajustar el modelo de difusión ni un proceso de inversión exacto. Como resultado, el método propuesto ofrece un mecanismo de edición rápido y de alta calidad. En nuestros experimentos, demostramos mediante evaluación humana y análisis cuantitativo que el método propuesto permite producir ediciones deseadas que son más preferidas por los humanos y también logra un mejor equilibrio entre la calidad de la edición y la preservación de la imagen original. Nuestro código está disponible en https://github.com/FusionBrainLab/Guide-and-Rescale.

English

Despite recent advances in large-scale text-to-image generative models, manipulating real images with these models remains a challenging problem. The main limitations of existing editing methods are that they either fail to perform with consistent quality on a wide range of image edits or require time-consuming hyperparameter tuning or fine-tuning of the diffusion model to preserve the image-specific appearance of the input image. We propose a novel approach that is built upon a modified diffusion sampling process via the guidance mechanism. In this work, we explore the self-guidance technique to preserve the overall structure of the input image and its local regions appearance that should not be edited. In particular, we explicitly introduce layout-preserving energy functions that are aimed to save local and global structures of the source image. Additionally, we propose a noise rescaling mechanism that allows to preserve noise distribution by balancing the norms of classifier-free guidance and our proposed guiders during generation. Such a guiding approach does not require fine-tuning the diffusion model and exact inversion process. As a result, the proposed method provides a fast and high-quality editing mechanism. In our experiments, we show through human evaluation and quantitative analysis that the proposed method allows to produce desired editing which is more preferable by humans and also achieves a better trade-off between editing quality and preservation of the original image. Our code is available at https://github.com/FusionBrainLab/Guide-and-Rescale.