StableDrag: ポイントベース画像編集のための安定ドラッグ

StableDrag: Stable Dragging for Point-based Image Editing

March 7, 2024

著者: Yutao Cui, Xiaotong Zhao, Guozhen Zhang, Shengming Cao, Kai Ma, Limin Wang

cs.AI

要旨

ポイントベースの画像編集は、DragGANの登場以来、注目を集めています。最近では、DragDiffusionがこのドラッグ技術を拡散モデルに適用することで、生成品質をさらに向上させました。しかし、これらの大きな成功にもかかわらず、このドラッグ方式には、不正確なポイント追跡と不完全なモーション監視という2つの主要な欠点があり、これらは不満足なドラッグ結果を引き起こす可能性があります。これらの問題に対処するために、我々は、識別可能なポイント追跡方法と信頼度ベースの潜在強化戦略を設計することで、安定かつ精密なドラッグベースの編集フレームワーク「StableDrag」を構築しました。前者は、更新されたハンドルポイントを正確に位置づけることで、長距離操作の安定性を向上させ、後者は、すべての操作ステップにおいて最適化された潜在変数を可能な限り高品質に保つ役割を果たします。これらの独自の設計により、StableDrag-GANとStableDrag-Diffという2種類の画像編集モデルを実現し、DragBenchでの広範な定性的実験と定量的評価を通じて、より安定したドラッグ性能を達成しました。

English

Point-based image editing has attracted remarkable attention since the emergence of DragGAN. Recently, DragDiffusion further pushes forward the generative quality via adapting this dragging technique to diffusion models. Despite these great success, this dragging scheme exhibits two major drawbacks, namely inaccurate point tracking and incomplete motion supervision, which may result in unsatisfactory dragging outcomes. To tackle these issues, we build a stable and precise drag-based editing framework, coined as StableDrag, by designing a discirminative point tracking method and a confidence-based latent enhancement strategy for motion supervision. The former allows us to precisely locate the updated handle points, thereby boosting the stability of long-range manipulation, while the latter is responsible for guaranteeing the optimized latent as high-quality as possible across all the manipulation steps. Thanks to these unique designs, we instantiate two types of image editing models including StableDrag-GAN and StableDrag-Diff, which attains more stable dragging performance, through extensive qualitative experiments and quantitative assessment on DragBench.