VideoSwap: Scambio Personalizzato di Soggetti Video con Corrispondenza Semantica Interattiva tramite Punti
VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence
December 4, 2023
Autori: Yuchao Gu, Yipin Zhou, Bichen Wu, Licheng Yu, Jia-Wei Liu, Rui Zhao, Jay Zhangjie Wu, David Junhao Zhang, Mike Zheng Shou, Kevin Tang
cs.AI
Abstract
L'editing video basato su modelli di diffusione attualmente si concentra principalmente sull'editing che preserva la struttura, utilizzando varie corrispondenze dense per garantire la coerenza temporale e l'allineamento del movimento. Tuttavia, questi approcci si rivelano spesso inefficaci quando la modifica desiderata comporta un cambiamento di forma. Per affrontare l'editing video con cambiamenti di forma, in questo lavoro esploriamo lo scambio personalizzato di soggetti video, dove l'obiettivo è sostituire il soggetto principale in un video sorgente con un soggetto target che ha un'identità distinta e potenzialmente una forma diversa. A differenza dei metodi precedenti che si basano su corrispondenze dense, introduciamo il framework VideoSwap che sfrutta corrispondenze di punti semantici, ispirati dalla nostra osservazione che solo un piccolo numero di punti semantici è necessario per allineare la traiettoria del movimento del soggetto e modificarne la forma. Introduciamo inoltre varie interazioni utente-punti (\eg, rimozione di punti e trascinamento di punti) per gestire diverse corrispondenze di punti semantici. Esperimenti estensivi dimostrano risultati all'avanguardia nello scambio di soggetti video su una varietà di video del mondo reale.
English
Current diffusion-based video editing primarily focuses on
structure-preserved editing by utilizing various dense correspondences to
ensure temporal consistency and motion alignment. However, these approaches are
often ineffective when the target edit involves a shape change. To embark on
video editing with shape change, we explore customized video subject swapping
in this work, where we aim to replace the main subject in a source video with a
target subject having a distinct identity and potentially different shape. In
contrast to previous methods that rely on dense correspondences, we introduce
the VideoSwap framework that exploits semantic point correspondences, inspired
by our observation that only a small number of semantic points are necessary to
align the subject's motion trajectory and modify its shape. We also introduce
various user-point interactions (\eg, removing points and dragging points) to
address various semantic point correspondence. Extensive experiments
demonstrate state-of-the-art video subject swapping results across a variety of
real-world videos.