VideoSwap: Individueller Video-Subjekt-Austausch mit interaktiver semantischer Punktkorrespondenz
VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence
December 4, 2023
Autoren: Yuchao Gu, Yipin Zhou, Bichen Wu, Licheng Yu, Jia-Wei Liu, Rui Zhao, Jay Zhangjie Wu, David Junhao Zhang, Mike Zheng Shou, Kevin Tang
cs.AI
Zusammenfassung
Aktuelle, auf Diffusion basierende Video-Bearbeitung konzentriert sich hauptsächlich auf struktur-erhaltende Bearbeitung, indem verschiedene dichte Korrespondenzen genutzt werden, um zeitliche Konsistenz und Bewegungsausrichtung zu gewährleisten. Diese Ansätze sind jedoch oft unwirksam, wenn die gewünschte Bearbeitung eine Formänderung beinhaltet. Um die Video-Bearbeitung mit Formänderung zu ermöglichen, untersuchen wir in dieser Arbeit das angepasste Austauschen von Video-Subjekten, bei dem wir das Hauptsubjekt in einem Quellvideo durch ein Zielsubjekt mit einer anderen Identität und potenziell unterschiedlicher Form ersetzen möchten. Im Gegensatz zu früheren Methoden, die auf dichten Korrespondenzen basieren, führen wir das VideoSwap-Framework ein, das semantische Punktkorrespondenzen nutzt, inspiriert durch unsere Beobachtung, dass nur eine kleine Anzahl semantischer Punkte notwendig ist, um die Bewegungsbahn des Subjekts auszurichten und seine Form zu verändern. Wir führen auch verschiedene Benutzerpunkt-Interaktionen ein (z. B. das Entfernen und Verschieben von Punkten), um verschiedene semantische Punktkorrespondenzen zu adressieren. Umfangreiche Experimente demonstrieren state-of-the-art Ergebnisse beim Austauschen von Video-Subjekten in einer Vielzahl von realen Videos.
English
Current diffusion-based video editing primarily focuses on
structure-preserved editing by utilizing various dense correspondences to
ensure temporal consistency and motion alignment. However, these approaches are
often ineffective when the target edit involves a shape change. To embark on
video editing with shape change, we explore customized video subject swapping
in this work, where we aim to replace the main subject in a source video with a
target subject having a distinct identity and potentially different shape. In
contrast to previous methods that rely on dense correspondences, we introduce
the VideoSwap framework that exploits semantic point correspondences, inspired
by our observation that only a small number of semantic points are necessary to
align the subject's motion trajectory and modify its shape. We also introduce
various user-point interactions (\eg, removing points and dragging points) to
address various semantic point correspondence. Extensive experiments
demonstrate state-of-the-art video subject swapping results across a variety of
real-world videos.