MotionCtrl : Un contrôleur de mouvement unifié et flexible pour la génération de vidéos
MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
December 6, 2023
Auteurs: Zhouxia Wang, Ziyang Yuan, Xintao Wang, Tianshui Chen, Menghan Xia, Ping Luo, Ying Shan
cs.AI
Résumé
Les mouvements dans une vidéo se composent principalement du mouvement de la caméra, induit par le déplacement de la caméra, et du mouvement des objets, résultant du déplacement des objets. Un contrôle précis à la fois du mouvement de la caméra et des objets est essentiel pour la génération de vidéos. Cependant, les travaux existants se concentrent principalement sur un type de mouvement ou ne distinguent pas clairement les deux, limitant ainsi leurs capacités de contrôle et leur diversité. Par conséquent, cet article présente MotionCtrl, un contrôleur de mouvement unifié et flexible pour la génération de vidéos, conçu pour contrôler efficacement et indépendamment le mouvement de la caméra et des objets. L'architecture et la stratégie d'entraînement de MotionCtrl sont soigneusement élaborées, en tenant compte des propriétés inhérentes au mouvement de la caméra, au mouvement des objets et aux données d'entraînement imparfaites. Par rapport aux méthodes précédentes, MotionCtrl offre trois avantages principaux : 1) Il contrôle efficacement et indépendamment le mouvement de la caméra et des objets, permettant un contrôle plus fin des mouvements et facilitant des combinaisons flexibles et diversifiées des deux types de mouvements. 2) Ses conditions de mouvement sont déterminées par les poses et les trajectoires de la caméra, qui sont indépendantes de l'apparence et ont un impact minimal sur l'apparence ou la forme des objets dans les vidéos générées. 3) C'est un modèle relativement généralisable qui peut s'adapter à une large gamme de poses et de trajectoires de caméra une fois entraîné. Des expériences qualitatives et quantitatives approfondies ont été menées pour démontrer la supériorité de MotionCtrl par rapport aux méthodes existantes.
English
Motions in a video primarily consist of camera motion, induced by camera
movement, and object motion, resulting from object movement. Accurate control
of both camera and object motion is essential for video generation. However,
existing works either mainly focus on one type of motion or do not clearly
distinguish between the two, limiting their control capabilities and diversity.
Therefore, this paper presents MotionCtrl, a unified and flexible motion
controller for video generation designed to effectively and independently
control camera and object motion. The architecture and training strategy of
MotionCtrl are carefully devised, taking into account the inherent properties
of camera motion, object motion, and imperfect training data. Compared to
previous methods, MotionCtrl offers three main advantages: 1) It effectively
and independently controls camera motion and object motion, enabling more
fine-grained motion control and facilitating flexible and diverse combinations
of both types of motion. 2) Its motion conditions are determined by camera
poses and trajectories, which are appearance-free and minimally impact the
appearance or shape of objects in generated videos. 3) It is a relatively
generalizable model that can adapt to a wide array of camera poses and
trajectories once trained. Extensive qualitative and quantitative experiments
have been conducted to demonstrate the superiority of MotionCtrl over existing
methods.