MotionCtrl: Een Uniforme en Flexibele Bewegingscontroller voor Videogeneratie
MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
December 6, 2023
Auteurs: Zhouxia Wang, Ziyang Yuan, Xintao Wang, Tianshui Chen, Menghan Xia, Ping Luo, Ying Shan
cs.AI
Samenvatting
Bewegingen in een video bestaan voornamelijk uit camerabeweging, veroorzaakt door beweging van de camera, en objectbeweging, het gevolg van beweging van objecten. Nauwkeurige controle over zowel camerabeweging als objectbeweging is essentieel voor videogeneratie. Echter, bestaande werken richten zich voornamelijk op één type beweging of maken geen duidelijk onderscheid tussen de twee, wat hun controlecapaciteiten en diversiteit beperkt. Daarom presenteert dit artikel MotionCtrl, een uniforme en flexibele bewegingcontroller voor videogeneratie, ontworpen om camerabeweging en objectbeweging effectief en onafhankelijk te controleren. De architectuur en trainingsstrategie van MotionCtrl zijn zorgvuldig ontworpen, rekening houdend met de inherente eigenschappen van camerabeweging, objectbeweging en onvolmaakte trainingsdata. Vergeleken met eerdere methoden biedt MotionCtrl drie belangrijke voordelen: 1) Het controleert camerabeweging en objectbeweging effectief en onafhankelijk, waardoor meer fijnmazige bewegingscontrole mogelijk is en flexibele en diverse combinaties van beide soorten beweging worden gefaciliteerd. 2) De bewegingscondities worden bepaald door cameraposities en -trajecten, die vrij zijn van uiterlijk en minimale invloed hebben op het uiterlijk of de vorm van objecten in gegenereerde video's. 3) Het is een relatief generaliseerbaar model dat zich kan aanpassen aan een breed scala aan cameraposities en -trajecten zodra het is getraind. Uitgebreide kwalitatieve en kwantitatieve experimenten zijn uitgevoerd om de superioriteit van MotionCtrl ten opzichte van bestaande methoden aan te tonen.
English
Motions in a video primarily consist of camera motion, induced by camera
movement, and object motion, resulting from object movement. Accurate control
of both camera and object motion is essential for video generation. However,
existing works either mainly focus on one type of motion or do not clearly
distinguish between the two, limiting their control capabilities and diversity.
Therefore, this paper presents MotionCtrl, a unified and flexible motion
controller for video generation designed to effectively and independently
control camera and object motion. The architecture and training strategy of
MotionCtrl are carefully devised, taking into account the inherent properties
of camera motion, object motion, and imperfect training data. Compared to
previous methods, MotionCtrl offers three main advantages: 1) It effectively
and independently controls camera motion and object motion, enabling more
fine-grained motion control and facilitating flexible and diverse combinations
of both types of motion. 2) Its motion conditions are determined by camera
poses and trajectories, which are appearance-free and minimally impact the
appearance or shape of objects in generated videos. 3) It is a relatively
generalizable model that can adapt to a wide array of camera poses and
trajectories once trained. Extensive qualitative and quantitative experiments
have been conducted to demonstrate the superiority of MotionCtrl over existing
methods.