StableDrag: Stabiel Slepen voor Puntgebaseerde Afbeeldingsbewerking

StableDrag: Stable Dragging for Point-based Image Editing

March 7, 2024

Auteurs: Yutao Cui, Xiaotong Zhao, Guozhen Zhang, Shengming Cao, Kai Ma, Limin Wang

cs.AI

Samenvatting

Puntgebaseerde beeldbewerking heeft sinds de opkomst van DragGAN opmerkelijke aandacht getrokken. Onlangs heeft DragDiffusion de generatieve kwaliteit verder verbeterd door deze versleeptechniek aan te passen voor diffusiemodellen. Ondanks deze grote successen vertoont dit versleepschema twee belangrijke tekortkomingen, namelijk onnauwkeurige puntvolging en onvolledige bewegingssupervisie, wat kan leiden tot onbevredigende versleepresultaten. Om deze problemen aan te pakken, hebben we een stabiel en precies versleepgebaseerd bewerkingsframework ontwikkeld, genaamd StableDrag, door een discriminerende puntvolgingsmethode en een vertrouwensgebaseerde latente verbeteringsstrategie voor bewegingssupervisie te ontwerpen. De eerste stelt ons in staat om de bijgewerkte handvatpunten precies te lokaliseren, waardoor de stabiliteit van manipulatie over lange afstanden wordt verbeterd, terwijl de laatste verantwoordelijk is voor het garanderen van een zo hoog mogelijke kwaliteit van de geoptimaliseerde latentie in alle manipulatiestappen. Dankzij deze unieke ontwerpen hebben we twee typen beeldbewerkingsmodellen geïnstantieerd, waaronder StableDrag-GAN en StableDrag-Diff, die een stabielere versleepprestatie bereiken, zoals blijkt uit uitgebreide kwalitatieve experimenten en kwantitatieve beoordeling op DragBench.

English

Point-based image editing has attracted remarkable attention since the emergence of DragGAN. Recently, DragDiffusion further pushes forward the generative quality via adapting this dragging technique to diffusion models. Despite these great success, this dragging scheme exhibits two major drawbacks, namely inaccurate point tracking and incomplete motion supervision, which may result in unsatisfactory dragging outcomes. To tackle these issues, we build a stable and precise drag-based editing framework, coined as StableDrag, by designing a discirminative point tracking method and a confidence-based latent enhancement strategy for motion supervision. The former allows us to precisely locate the updated handle points, thereby boosting the stability of long-range manipulation, while the latter is responsible for guaranteeing the optimized latent as high-quality as possible across all the manipulation steps. Thanks to these unique designs, we instantiate two types of image editing models including StableDrag-GAN and StableDrag-Diff, which attains more stable dragging performance, through extensive qualitative experiments and quantitative assessment on DragBench.