MotionCtrl: Ein einheitlicher und flexibler Bewegungscontroller für die Videogenerierung
MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
December 6, 2023
Autoren: Zhouxia Wang, Ziyang Yuan, Xintao Wang, Tianshui Chen, Menghan Xia, Ping Luo, Ying Shan
cs.AI
Zusammenfassung
Bewegungen in einem Video bestehen hauptsächlich aus Kamerabewegungen, die durch die Bewegung der Kamera verursacht werden, und Objektbewegungen, die sich aus der Bewegung von Objekten ergeben. Eine präzise Steuerung sowohl der Kamerabewegung als auch der Objektbewegung ist für die Videogenerierung entscheidend. Bisherige Arbeiten konzentrieren sich jedoch entweder hauptsächlich auf eine Art von Bewegung oder unterscheiden nicht klar zwischen den beiden, was ihre Steuerungsfähigkeiten und Vielfalt einschränkt. Daher stellt dieses Paper MotionCtrl vor, einen einheitlichen und flexiblen Bewegungscontroller für die Videogenerierung, der entwickelt wurde, um Kamerabewegungen und Objektbewegungen effektiv und unabhängig voneinander zu steuern. Die Architektur und Trainingsstrategie von MotionCtrl wurden sorgfältig entworfen, wobei die inhärenten Eigenschaften von Kamerabewegungen, Objektbewegungen und unvollkommenen Trainingsdaten berücksichtigt wurden. Im Vergleich zu früheren Methoden bietet MotionCtrl drei Hauptvorteile: 1) Es steuert Kamerabewegungen und Objektbewegungen effektiv und unabhängig voneinander, was eine feinere Bewegungssteuerung ermöglicht und flexible sowie vielfältige Kombinationen beider Bewegungsarten erleichtert. 2) Seine Bewegungsbedingungen werden durch Kameraposen und -trajektorien bestimmt, die frei von Erscheinungsmerkmalen sind und das Aussehen oder die Form von Objekten in generierten Videos minimal beeinflussen. 3) Es handelt sich um ein relativ generalisierbares Modell, das sich nach dem Training an eine Vielzahl von Kameraposen und -trajektorien anpassen kann. Umfangreiche qualitative und quantitative Experimente wurden durchgeführt, um die Überlegenheit von MotionCtrl gegenüber bestehenden Methoden zu demonstrieren.
English
Motions in a video primarily consist of camera motion, induced by camera
movement, and object motion, resulting from object movement. Accurate control
of both camera and object motion is essential for video generation. However,
existing works either mainly focus on one type of motion or do not clearly
distinguish between the two, limiting their control capabilities and diversity.
Therefore, this paper presents MotionCtrl, a unified and flexible motion
controller for video generation designed to effectively and independently
control camera and object motion. The architecture and training strategy of
MotionCtrl are carefully devised, taking into account the inherent properties
of camera motion, object motion, and imperfect training data. Compared to
previous methods, MotionCtrl offers three main advantages: 1) It effectively
and independently controls camera motion and object motion, enabling more
fine-grained motion control and facilitating flexible and diverse combinations
of both types of motion. 2) Its motion conditions are determined by camera
poses and trajectories, which are appearance-free and minimally impact the
appearance or shape of objects in generated videos. 3) It is a relatively
generalizable model that can adapt to a wide array of camera poses and
trajectories once trained. Extensive qualitative and quantitative experiments
have been conducted to demonstrate the superiority of MotionCtrl over existing
methods.