VideoSwap: Intercambio personalizado de sujetos en videos con correspondencia semántica interactiva mediante puntos
VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence
December 4, 2023
Autores: Yuchao Gu, Yipin Zhou, Bichen Wu, Licheng Yu, Jia-Wei Liu, Rui Zhao, Jay Zhangjie Wu, David Junhao Zhang, Mike Zheng Shou, Kevin Tang
cs.AI
Resumen
La edición de vídeo basada en difusión actual se centra principalmente en la edición con preservación de estructura, utilizando diversas correspondencias densas para garantizar la consistencia temporal y la alineación del movimiento. Sin embargo, estos enfoques suelen ser ineficaces cuando la edición objetivo implica un cambio de forma. Para abordar la edición de vídeo con cambio de forma, en este trabajo exploramos el intercambio personalizado de sujetos en vídeos, donde nuestro objetivo es reemplazar el sujeto principal en un vídeo fuente con un sujeto objetivo que tenga una identidad distinta y potencialmente una forma diferente. A diferencia de métodos anteriores que dependen de correspondencias densas, presentamos el marco VideoSwap, que aprovecha las correspondencias de puntos semánticos, inspirado por nuestra observación de que solo se necesita un pequeño número de puntos semánticos para alinear la trayectoria de movimiento del sujeto y modificar su forma. También introducimos diversas interacciones de puntos por parte del usuario (\por ejemplo, eliminar puntos y arrastrar puntos) para abordar diferentes correspondencias de puntos semánticos. Experimentos extensos demuestran resultados de vanguardia en el intercambio de sujetos en vídeos en una variedad de vídeos del mundo real.
English
Current diffusion-based video editing primarily focuses on
structure-preserved editing by utilizing various dense correspondences to
ensure temporal consistency and motion alignment. However, these approaches are
often ineffective when the target edit involves a shape change. To embark on
video editing with shape change, we explore customized video subject swapping
in this work, where we aim to replace the main subject in a source video with a
target subject having a distinct identity and potentially different shape. In
contrast to previous methods that rely on dense correspondences, we introduce
the VideoSwap framework that exploits semantic point correspondences, inspired
by our observation that only a small number of semantic points are necessary to
align the subject's motion trajectory and modify its shape. We also introduce
various user-point interactions (\eg, removing points and dragging points) to
address various semantic point correspondence. Extensive experiments
demonstrate state-of-the-art video subject swapping results across a variety of
real-world videos.