StableDrag: Trascinamento Stabile per la Modifica di Immagini Basata su Punti

StableDrag: Stable Dragging for Point-based Image Editing

March 7, 2024

Autori: Yutao Cui, Xiaotong Zhao, Guozhen Zhang, Shengming Cao, Kai Ma, Limin Wang

cs.AI

Abstract

L'editing di immagini basato su punti ha attirato notevole attenzione sin dall'emergere di DragGAN. Recentemente, DragDiffusion ha ulteriormente migliorato la qualità generativa adattando questa tecnica di trascinamento ai modelli di diffusione. Nonostante questi grandi successi, questo schema di trascinamento presenta due principali inconvenienti, ovvero il tracciamento impreciso dei punti e una supervisione del movimento incompleta, che possono portare a risultati di trascinamento insoddisfacenti. Per affrontare questi problemi, abbiamo costruito un framework di editing basato su trascinamento stabile e preciso, denominato StableDrag, progettando un metodo di tracciamento dei punti discriminativo e una strategia di miglioramento latente basata sulla fiducia per la supervisione del movimento. Il primo ci consente di localizzare con precisione i punti di manipolazione aggiornati, migliorando così la stabilità della manipolazione a lungo raggio, mentre il secondo è responsabile di garantire che il latente ottimizzato sia di alta qualità in tutti i passaggi di manipolazione. Grazie a queste soluzioni uniche, abbiamo istanziato due tipi di modelli di editing di immagini, inclusi StableDrag-GAN e StableDrag-Diff, che raggiungono una performance di trascinamento più stabile, attraverso ampi esperimenti qualitativi e valutazioni quantitative su DragBench.

English

Point-based image editing has attracted remarkable attention since the emergence of DragGAN. Recently, DragDiffusion further pushes forward the generative quality via adapting this dragging technique to diffusion models. Despite these great success, this dragging scheme exhibits two major drawbacks, namely inaccurate point tracking and incomplete motion supervision, which may result in unsatisfactory dragging outcomes. To tackle these issues, we build a stable and precise drag-based editing framework, coined as StableDrag, by designing a discirminative point tracking method and a confidence-based latent enhancement strategy for motion supervision. The former allows us to precisely locate the updated handle points, thereby boosting the stability of long-range manipulation, while the latter is responsible for guaranteeing the optimized latent as high-quality as possible across all the manipulation steps. Thanks to these unique designs, we instantiate two types of image editing models including StableDrag-GAN and StableDrag-Diff, which attains more stable dragging performance, through extensive qualitative experiments and quantitative assessment on DragBench.