MotionShop: Zero-Shot Bewegingsoverdracht in Video Diffusiemodellen met een Mix van Scorebegeleiding
MotionShop: Zero-Shot Motion Transfer in Video Diffusion Models with Mixture of Score Guidance
December 6, 2024
Auteurs: Hidir Yesiltepe, Tuna Han Salih Meral, Connor Dunlop, Pinar Yanardag
cs.AI
Samenvatting
In dit werk stellen we de eerste bewegingsoverdrachtsbenadering voor in diffusietransformator via Mixture of Score Guidance (MSG), een theoretisch gefundeerd kader voor bewegingsoverdracht in diffusiemodellen. Onze belangrijkste theoretische bijdrage ligt in het herformuleren van conditionele score om bewegingsscore en inhoudsscore te ontbinden in diffusiemodellen. Door bewegingsoverdracht te formuleren als een mengsel van potentiële energieën behoudt MSG op natuurlijke wijze scènecompositie en maakt het creatieve scènetransformaties mogelijk terwijl de integriteit van overgedragen bewegingspatronen wordt behouden. Deze nieuwe bemonstering werkt rechtstreeks op vooraf getrainde video-diffusiemodellen zonder extra training of fijnafstemming. Via uitgebreide experimenten toont MSG succesvolle behandeling van diverse scenario's, waaronder enkel object, meerdere objecten en kruisobjectbewegingsoverdracht, evenals complexe camerabewegingsoverdracht. Bovendien introduceren we MotionBench, de eerste dataset voor bewegingsoverdracht bestaande uit 200 bronvideo's en 1000 overgedragen bewegingen, die enkelvoudige/meervoudige objectoverdrachten en complexe camerabewegingen omvatten.
English
In this work, we propose the first motion transfer approach in diffusion
transformer through Mixture of Score Guidance (MSG), a theoretically-grounded
framework for motion transfer in diffusion models. Our key theoretical
contribution lies in reformulating conditional score to decompose motion score
and content score in diffusion models. By formulating motion transfer as a
mixture of potential energies, MSG naturally preserves scene composition and
enables creative scene transformations while maintaining the integrity of
transferred motion patterns. This novel sampling operates directly on
pre-trained video diffusion models without additional training or fine-tuning.
Through extensive experiments, MSG demonstrates successful handling of diverse
scenarios including single object, multiple objects, and cross-object motion
transfer as well as complex camera motion transfer. Additionally, we introduce
MotionBench, the first motion transfer dataset consisting of 200 source videos
and 1000 transferred motions, covering single/multi-object transfers, and
complex camera motions.