StableDrag: Arrastre Estable para la Edición de Imágenes Basada en Puntos

StableDrag: Stable Dragging for Point-based Image Editing

March 7, 2024

Autores: Yutao Cui, Xiaotong Zhao, Guozhen Zhang, Shengming Cao, Kai Ma, Limin Wang

cs.AI

Resumen

La edición de imágenes basada en puntos ha atraído una atención notable desde la aparición de DragGAN. Recientemente, DragDiffusion ha llevado aún más lejos la calidad generativa al adaptar esta técnica de arrastre a modelos de difusión. A pesar de estos grandes éxitos, este esquema de arrastre presenta dos inconvenientes principales, a saber, el seguimiento impreciso de puntos y la supervisión de movimiento incompleta, lo que puede resultar en resultados de arrastre insatisfactorios. Para abordar estos problemas, construimos un marco de edición basado en arrastre estable y preciso, denominado StableDrag, mediante el diseño de un método de seguimiento de puntos discriminativo y una estrategia de mejora latente basada en confianza para la supervisión del movimiento. El primero nos permite localizar con precisión los puntos de manejo actualizados, mejorando así la estabilidad de la manipulación de largo alcance, mientras que el segundo es responsable de garantizar que el latente optimizado sea de la mayor calidad posible en todos los pasos de manipulación. Gracias a estos diseños únicos, instanciamos dos tipos de modelos de edición de imágenes, incluidos StableDrag-GAN y StableDrag-Diff, que logran un rendimiento de arrastre más estable, a través de extensos experimentos cualitativos y evaluación cuantitativa en DragBench.

English

Point-based image editing has attracted remarkable attention since the emergence of DragGAN. Recently, DragDiffusion further pushes forward the generative quality via adapting this dragging technique to diffusion models. Despite these great success, this dragging scheme exhibits two major drawbacks, namely inaccurate point tracking and incomplete motion supervision, which may result in unsatisfactory dragging outcomes. To tackle these issues, we build a stable and precise drag-based editing framework, coined as StableDrag, by designing a discirminative point tracking method and a confidence-based latent enhancement strategy for motion supervision. The former allows us to precisely locate the updated handle points, thereby boosting the stability of long-range manipulation, while the latter is responsible for guaranteeing the optimized latent as high-quality as possible across all the manipulation steps. Thanks to these unique designs, we instantiate two types of image editing models including StableDrag-GAN and StableDrag-Diff, which attains more stable dragging performance, through extensive qualitative experiments and quantitative assessment on DragBench.