VideoSwap: Gepersonaliseerde video-onderwerpverwisseling met interactieve semantische puntcorrespondentie
VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence
December 4, 2023
Auteurs: Yuchao Gu, Yipin Zhou, Bichen Wu, Licheng Yu, Jia-Wei Liu, Rui Zhao, Jay Zhangjie Wu, David Junhao Zhang, Mike Zheng Shou, Kevin Tang
cs.AI
Samenvatting
Huidige op diffusie gebaseerde videobewerking richt zich voornamelijk op
structuurbehoudende bewerking door gebruik te maken van diverse dichte correspondenties om
tijdelijke consistentie en bewegingsuitlijning te waarborgen. Deze benaderingen zijn echter
vaak niet effectief wanneer de doelbewerking een vormverandering inhoudt. Om videobewerking
met vormverandering aan te pakken, onderzoeken we in dit werk het op maat maken van
videosubjectverwisseling, waarbij we ernaar streven het hoofdonderwerp in een bronvideo te
vervangen door een doelonderwerp met een afwijkende identiteit en mogelijk een andere vorm.
In tegenstelling tot eerdere methoden die afhankelijk zijn van dichte correspondenties,
introduceren we het VideoSwap-framework dat gebruikmaakt van semantische puntcorrespondenties,
geïnspireerd door onze observatie dat slechts een klein aantal semantische punten nodig is om
de bewegingsbaan van het onderwerp uit te lijnen en de vorm ervan aan te passen. We introduceren
ook diverse gebruikerspuntinteracties (\bijvoorbeeld punten verwijderen en punten verslepen) om
verschillende semantische puntcorrespondenties aan te pakken. Uitgebreide experimenten tonen
state-of-the-art resultaten voor videosubjectverwisseling aan in een verscheidenheid aan
real-world video's.
English
Current diffusion-based video editing primarily focuses on
structure-preserved editing by utilizing various dense correspondences to
ensure temporal consistency and motion alignment. However, these approaches are
often ineffective when the target edit involves a shape change. To embark on
video editing with shape change, we explore customized video subject swapping
in this work, where we aim to replace the main subject in a source video with a
target subject having a distinct identity and potentially different shape. In
contrast to previous methods that rely on dense correspondences, we introduce
the VideoSwap framework that exploits semantic point correspondences, inspired
by our observation that only a small number of semantic points are necessary to
align the subject's motion trajectory and modify its shape. We also introduce
various user-point interactions (\eg, removing points and dragging points) to
address various semantic point correspondence. Extensive experiments
demonstrate state-of-the-art video subject swapping results across a variety of
real-world videos.