VideoSwap: Персонализированная замена объектов в видео с использованием интерактивного семантического соответствия точек
VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence
December 4, 2023
Авторы: Yuchao Gu, Yipin Zhou, Bichen Wu, Licheng Yu, Jia-Wei Liu, Rui Zhao, Jay Zhangjie Wu, David Junhao Zhang, Mike Zheng Shou, Kevin Tang
cs.AI
Аннотация
Современные методы редактирования видео на основе диффузии в основном сосредоточены на редактировании с сохранением структуры, используя различные плотные соответствия для обеспечения временной согласованности и выравнивания движения. Однако эти подходы часто оказываются неэффективными, когда целевое редактирование предполагает изменение формы. Чтобы начать редактирование видео с изменением формы, в данной работе мы исследуем персонализированную замену объектов в видео, где мы стремимся заменить основной объект в исходном видео на целевой объект с другой идентичностью и, возможно, другой формой. В отличие от предыдущих методов, которые полагаются на плотные соответствия, мы представляем фреймворк VideoSwap, который использует семантические точечные соответствия, вдохновленные нашим наблюдением, что лишь небольшое количество семантических точек необходимо для выравнивания траектории движения объекта и изменения его формы. Мы также вводим различные взаимодействия с пользовательскими точками (например, удаление точек и перетаскивание точек) для решения различных задач семантического соответствия точек. Многочисленные эксперименты демонстрируют передовые результаты замены объектов в видео на различных реальных видеозаписях.
English
Current diffusion-based video editing primarily focuses on
structure-preserved editing by utilizing various dense correspondences to
ensure temporal consistency and motion alignment. However, these approaches are
often ineffective when the target edit involves a shape change. To embark on
video editing with shape change, we explore customized video subject swapping
in this work, where we aim to replace the main subject in a source video with a
target subject having a distinct identity and potentially different shape. In
contrast to previous methods that rely on dense correspondences, we introduce
the VideoSwap framework that exploits semantic point correspondences, inspired
by our observation that only a small number of semantic points are necessary to
align the subject's motion trajectory and modify its shape. We also introduce
various user-point interactions (\eg, removing points and dragging points) to
address various semantic point correspondence. Extensive experiments
demonstrate state-of-the-art video subject swapping results across a variety of
real-world videos.