StableDrag: Stabiles Ziehen für punktbasierte Bildbearbeitung

StableDrag: Stable Dragging for Point-based Image Editing

March 7, 2024

Autoren: Yutao Cui, Xiaotong Zhao, Guozhen Zhang, Shengming Cao, Kai Ma, Limin Wang

cs.AI

Zusammenfassung

Die punktbasierte Bildbearbeitung hat seit dem Aufkommen von DragGAN bemerkenswerte Aufmerksamkeit erregt. Kürzlich hat DragDiffusion die generative Qualität weiter vorangetrieben, indem diese Ziehtechnik auf Diffusionsmodelle angepasst wurde. Trotz dieser großen Erfolge weist dieses Ziehschema zwei wesentliche Nachteile auf, nämlich ungenaue Punktverfolgung und unvollständige Bewegungsüberwachung, die zu unbefriedigenden Ziehergebnissen führen können. Um diese Probleme anzugehen, haben wir ein stabiles und präzises Ziehbearbeitungsframework namens StableDrag entwickelt, indem wir eine diskriminative Punktverfolgungsmethode und eine vertrauensbasierte latente Verbesserungsstrategie für die Bewegungsüberwachung entwerfen. Ersteres ermöglicht es uns, die aktualisierten Griffpunkte präzise zu lokalisieren, wodurch die Stabilität der Manipulation über große Entfernungen erhöht wird, während Letzteres dafür verantwortlich ist, die optimierte Latente über alle Manipulationsschritte hinweg so hochwertig wie möglich zu gewährleisten. Dank dieser einzigartigen Designs instanziieren wir zwei Arten von Bildbearbeitungsmodellen, darunter StableDrag-GAN und StableDrag-Diff, die durch umfangreiche qualitative Experimente und quantitative Bewertungen auf DragBench eine stabilere Ziehleistung erreichen.

English

Point-based image editing has attracted remarkable attention since the emergence of DragGAN. Recently, DragDiffusion further pushes forward the generative quality via adapting this dragging technique to diffusion models. Despite these great success, this dragging scheme exhibits two major drawbacks, namely inaccurate point tracking and incomplete motion supervision, which may result in unsatisfactory dragging outcomes. To tackle these issues, we build a stable and precise drag-based editing framework, coined as StableDrag, by designing a discirminative point tracking method and a confidence-based latent enhancement strategy for motion supervision. The former allows us to precisely locate the updated handle points, thereby boosting the stability of long-range manipulation, while the latter is responsible for guaranteeing the optimized latent as high-quality as possible across all the manipulation steps. Thanks to these unique designs, we instantiate two types of image editing models including StableDrag-GAN and StableDrag-Diff, which attains more stable dragging performance, through extensive qualitative experiments and quantitative assessment on DragBench.