VideoSwap : Échange personnalisé de sujets vidéo avec correspondance interactive de points sémantiques
VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence
December 4, 2023
Auteurs: Yuchao Gu, Yipin Zhou, Bichen Wu, Licheng Yu, Jia-Wei Liu, Rui Zhao, Jay Zhangjie Wu, David Junhao Zhang, Mike Zheng Shou, Kevin Tang
cs.AI
Résumé
Les méthodes actuelles d'édition vidéo basées sur la diffusion se concentrent principalement sur la préservation de la structure en utilisant diverses correspondances denses pour garantir la cohérence temporelle et l'alignement des mouvements. Cependant, ces approches s'avèrent souvent inefficaces lorsque la modification cible implique un changement de forme. Pour aborder l'édition vidéo avec changement de forme, nous explorons dans ce travail l'échange personnalisé de sujets vidéo, où nous visons à remplacer le sujet principal d'une vidéo source par un sujet cible ayant une identité distincte et potentiellement une forme différente. Contrairement aux méthodes précédentes qui reposent sur des correspondances denses, nous introduisons le cadre VideoSwap qui exploite des correspondances de points sémantiques, inspiré par notre observation que seul un petit nombre de points sémantiques est nécessaire pour aligner la trajectoire de mouvement du sujet et modifier sa forme. Nous introduisons également diverses interactions utilisateur-point (\eg, suppression de points et déplacement de points) pour traiter différentes correspondances de points sémantiques. Des expériences approfondies démontrent des résultats de pointe en matière d'échange de sujets vidéo sur une variété de vidéos du monde réel.
English
Current diffusion-based video editing primarily focuses on
structure-preserved editing by utilizing various dense correspondences to
ensure temporal consistency and motion alignment. However, these approaches are
often ineffective when the target edit involves a shape change. To embark on
video editing with shape change, we explore customized video subject swapping
in this work, where we aim to replace the main subject in a source video with a
target subject having a distinct identity and potentially different shape. In
contrast to previous methods that rely on dense correspondences, we introduce
the VideoSwap framework that exploits semantic point correspondences, inspired
by our observation that only a small number of semantic points are necessary to
align the subject's motion trajectory and modify its shape. We also introduce
various user-point interactions (\eg, removing points and dragging points) to
address various semantic point correspondence. Extensive experiments
demonstrate state-of-the-art video subject swapping results across a variety of
real-world videos.