DragDiffusion: Aprovechando Modelos de Difusión para la Edición Interactiva de Imágenes Basada en Puntos
DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing
June 26, 2023
Autores: Yujun Shi, Chuhui Xue, Jiachun Pan, Wenqing Zhang, Vincent Y. F. Tan, Song Bai
cs.AI
Resumen
La edición precisa y controlable de imágenes es una tarea desafiante que ha atraído una atención significativa. Recientemente, DragGAN ha permitido un marco de edición de imágenes interactivo basado en puntos y ha logrado resultados de edición impresionantes con precisión a nivel de píxel. Sin embargo, dado que este método se basa en redes generativas adversarias (GAN), su generalidad está limitada por la capacidad de los modelos GAN preentrenados. En este trabajo, extendemos dicho marco de edición a modelos de difusión y proponemos DragDiffusion. Al aprovechar modelos de difusión preentrenados a gran escala, mejoramos considerablemente la aplicabilidad de la edición interactiva basada en puntos en escenarios del mundo real. Mientras que la mayoría de los métodos existentes de edición de imágenes basados en difusión trabajan con incrustaciones de texto, DragDiffusion optimiza el latente de difusión para lograr un control espacial preciso. Aunque los modelos de difusión generan imágenes de manera iterativa, mostramos empíricamente que optimizar el latente de difusión en un solo paso es suficiente para generar resultados coherentes, lo que permite a DragDiffusion completar ediciones de alta calidad de manera eficiente. Experimentos extensos en una amplia gama de casos desafiantes (por ejemplo, múltiples objetos, diversas categorías de objetos, varios estilos, etc.) demuestran la versatilidad y generalidad de DragDiffusion.
English
Precise and controllable image editing is a challenging task that has
attracted significant attention. Recently, DragGAN enables an interactive
point-based image editing framework and achieves impressive editing results
with pixel-level precision. However, since this method is based on generative
adversarial networks (GAN), its generality is upper-bounded by the capacity of
the pre-trained GAN models. In this work, we extend such an editing framework
to diffusion models and propose DragDiffusion. By leveraging large-scale
pretrained diffusion models, we greatly improve the applicability of
interactive point-based editing in real world scenarios. While most existing
diffusion-based image editing methods work on text embeddings, DragDiffusion
optimizes the diffusion latent to achieve precise spatial control. Although
diffusion models generate images in an iterative manner, we empirically show
that optimizing diffusion latent at one single step suffices to generate
coherent results, enabling DragDiffusion to complete high-quality editing
efficiently. Extensive experiments across a wide range of challenging cases
(e.g., multi-objects, diverse object categories, various styles, etc.)
demonstrate the versatility and generality of DragDiffusion.