StableDrag : Manipulation stable par points pour l'édition d'images

StableDrag: Stable Dragging for Point-based Image Editing

March 7, 2024

Auteurs: Yutao Cui, Xiaotong Zhao, Guozhen Zhang, Shengming Cao, Kai Ma, Limin Wang

cs.AI

Résumé

L'édition d'images par points a suscité une attention remarquable depuis l'émergence de DragGAN. Récemment, DragDiffusion a encore amélioré la qualité générative en adaptant cette technique de glissement aux modèles de diffusion. Malgré ces grands succès, ce schéma de glissement présente deux inconvénients majeurs, à savoir un suivi de points imprécis et une supervision du mouvement incomplète, ce qui peut entraîner des résultats de glissement insatisfaisants. Pour résoudre ces problèmes, nous construisons un cadre d'édition basé sur le glissement stable et précis, baptisé StableDrag, en concevant une méthode de suivi de points discriminative et une stratégie d'amélioration latente basée sur la confiance pour la supervision du mouvement. La première nous permet de localiser précisément les points de manipulation mis à jour, augmentant ainsi la stabilité des manipulations à longue distance, tandis que la seconde est responsable de garantir que le latent optimisé soit de la plus haute qualité possible à travers toutes les étapes de manipulation. Grâce à ces conceptions uniques, nous instancions deux types de modèles d'édition d'images, y compris StableDrag-GAN et StableDrag-Diff, qui atteignent une performance de glissement plus stable, à travers des expériences qualitatives approfondies et une évaluation quantitative sur DragBench.

English

Point-based image editing has attracted remarkable attention since the emergence of DragGAN. Recently, DragDiffusion further pushes forward the generative quality via adapting this dragging technique to diffusion models. Despite these great success, this dragging scheme exhibits two major drawbacks, namely inaccurate point tracking and incomplete motion supervision, which may result in unsatisfactory dragging outcomes. To tackle these issues, we build a stable and precise drag-based editing framework, coined as StableDrag, by designing a discirminative point tracking method and a confidence-based latent enhancement strategy for motion supervision. The former allows us to precisely locate the updated handle points, thereby boosting the stability of long-range manipulation, while the latter is responsible for guaranteeing the optimized latent as high-quality as possible across all the manipulation steps. Thanks to these unique designs, we instantiate two types of image editing models including StableDrag-GAN and StableDrag-Diff, which attains more stable dragging performance, through extensive qualitative experiments and quantitative assessment on DragBench.