StableDrag: Arrasto Estável para Edição de Imagens Baseada em Pontos

StableDrag: Stable Dragging for Point-based Image Editing

March 7, 2024

Autores: Yutao Cui, Xiaotong Zhao, Guozhen Zhang, Shengming Cao, Kai Ma, Limin Wang

cs.AI

Resumo

A edição de imagens baseada em pontos tem atraído atenção significativa desde o surgimento do DragGAN. Recentemente, o DragDiffusion avançou ainda mais a qualidade gerativa ao adaptar essa técnica de arrasto para modelos de difusão. Apesar desses grandes sucessos, esse esquema de arrasto apresenta duas principais desvantagens: o rastreamento impreciso de pontos e a supervisão de movimento incompleta, o que pode resultar em resultados de arrasto insatisfatórios. Para resolver esses problemas, construímos uma estrutura de edição baseada em arrasto estável e precisa, denominada StableDrag, ao projetar um método discriminativo de rastreamento de pontos e uma estratégia de aprimoramento latente baseada em confiança para a supervisão de movimento. O primeiro nos permite localizar com precisão os pontos de manipulação atualizados, aumentando assim a estabilidade da manipulação de longo alcance, enquanto o segundo é responsável por garantir que o latente otimizado seja da mais alta qualidade possível em todas as etapas de manipulação. Graças a esses designs únicos, instanciamos dois tipos de modelos de edição de imagem, incluindo o StableDrag-GAN e o StableDrag-Diff, que alcançam um desempenho de arrasto mais estável, por meio de extensos experimentos qualitativos e avaliação quantitativa no DragBench.

English

Point-based image editing has attracted remarkable attention since the emergence of DragGAN. Recently, DragDiffusion further pushes forward the generative quality via adapting this dragging technique to diffusion models. Despite these great success, this dragging scheme exhibits two major drawbacks, namely inaccurate point tracking and incomplete motion supervision, which may result in unsatisfactory dragging outcomes. To tackle these issues, we build a stable and precise drag-based editing framework, coined as StableDrag, by designing a discirminative point tracking method and a confidence-based latent enhancement strategy for motion supervision. The former allows us to precisely locate the updated handle points, thereby boosting the stability of long-range manipulation, while the latter is responsible for guaranteeing the optimized latent as high-quality as possible across all the manipulation steps. Thanks to these unique designs, we instantiate two types of image editing models including StableDrag-GAN and StableDrag-Diff, which attains more stable dragging performance, through extensive qualitative experiments and quantitative assessment on DragBench.