Стабильное перетаскивание: стабильное перетаскивание для редактирования изображений на основе точек
StableDrag: Stable Dragging for Point-based Image Editing
March 7, 2024
Авторы: Yutao Cui, Xiaotong Zhao, Guozhen Zhang, Shengming Cao, Kai Ma, Limin Wang
cs.AI
Аннотация
С момента появления DragGAN редактирование изображений на основе точек привлекло значительное внимание. Недавно DragDiffusion дополнительно улучшил качество генерации, применяя эту технику перетаскивания к моделям диффузии. Несмотря на эти великолепные успехи, данная схема перетаскивания обладает двумя основными недостатками, а именно неточное отслеживание точек и неполное наблюдение за движением, что может привести к неудовлетворительным результатам перетаскивания. Для решения этих проблем мы создали стабильную и точную систему редактирования на основе перетаскивания, названную StableDrag, разработав дискриминативный метод отслеживания точек и стратегию улучшения латентного пространства на основе уверенности для наблюдения за движением. Первое позволяет нам точно определять обновленные управляющие точки, тем самым повышая стабильность манипуляций на большие расстояния, в то время как второе отвечает за обеспечение оптимизации латентного пространства наиболее высокого качества на всех этапах манипуляции. Благодаря этим уникальным решениям мы создаем два типа моделей редактирования изображений, включая StableDrag-GAN и StableDrag-Diff, которые обеспечивают более стабильное выполнение перетаскивания, благодаря обширным качественным экспериментам и количественной оценке на платформе DragBench.
English
Point-based image editing has attracted remarkable attention since the
emergence of DragGAN. Recently, DragDiffusion further pushes forward the
generative quality via adapting this dragging technique to diffusion models.
Despite these great success, this dragging scheme exhibits two major drawbacks,
namely inaccurate point tracking and incomplete motion supervision, which may
result in unsatisfactory dragging outcomes. To tackle these issues, we build a
stable and precise drag-based editing framework, coined as StableDrag, by
designing a discirminative point tracking method and a confidence-based latent
enhancement strategy for motion supervision. The former allows us to precisely
locate the updated handle points, thereby boosting the stability of long-range
manipulation, while the latter is responsible for guaranteeing the optimized
latent as high-quality as possible across all the manipulation steps. Thanks to
these unique designs, we instantiate two types of image editing models
including StableDrag-GAN and StableDrag-Diff, which attains more stable
dragging performance, through extensive qualitative experiments and
quantitative assessment on DragBench.