MotionCtrl: 비디오 생성을 위한 통합적이고 유연한 모션 컨트롤러
MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
December 6, 2023
저자: Zhouxia Wang, Ziyang Yuan, Xintao Wang, Tianshui Chen, Menghan Xia, Ping Luo, Ying Shan
cs.AI
초록
비디오 내의 움직임은 주로 카메라 움직임에 의해 유발되는 카메라 모션과 객체 움직임에 의해 발생하는 객체 모션으로 구성됩니다. 비디오 생성에 있어서 카메라와 객체 모션 모두를 정확하게 제어하는 것은 필수적입니다. 그러나 기존 연구들은 주로 한 가지 유형의 모션에 초점을 맞추거나 두 가지를 명확히 구분하지 않아 제어 능력과 다양성이 제한되었습니다. 따라서 본 논문에서는 카메라와 객체 모션을 효과적이고 독립적으로 제어할 수 있도록 설계된 통합적이고 유연한 모션 컨트롤러인 MotionCtrl을 제안합니다. MotionCtrl의 아키텍처와 학습 전략은 카메라 모션, 객체 모션, 그리고 불완전한 학습 데이터의 고유한 특성을 고려하여 신중하게 설계되었습니다. 기존 방법과 비교하여 MotionCtrl은 다음과 같은 세 가지 주요 장점을 제공합니다: 1) 카메라 모션과 객체 모션을 효과적이고 독립적으로 제어하여 더 세밀한 모션 제어가 가능하며, 두 유형의 모션을 유연하고 다양하게 조합할 수 있습니다. 2) 모션 조건이 외형과 무관한 카메라 포즈와 궤적에 의해 결정되므로 생성된 비디오에서 객체의 외형이나 형태에 미치는 영향이 최소화됩니다. 3) 학습 후 다양한 카메라 포즈와 궤적에 적응할 수 있는 비교적 일반화 가능한 모델입니다. MotionCtrl의 우수성을 입증하기 위해 광범위한 정성적 및 정량적 실험이 수행되었습니다.
English
Motions in a video primarily consist of camera motion, induced by camera
movement, and object motion, resulting from object movement. Accurate control
of both camera and object motion is essential for video generation. However,
existing works either mainly focus on one type of motion or do not clearly
distinguish between the two, limiting their control capabilities and diversity.
Therefore, this paper presents MotionCtrl, a unified and flexible motion
controller for video generation designed to effectively and independently
control camera and object motion. The architecture and training strategy of
MotionCtrl are carefully devised, taking into account the inherent properties
of camera motion, object motion, and imperfect training data. Compared to
previous methods, MotionCtrl offers three main advantages: 1) It effectively
and independently controls camera motion and object motion, enabling more
fine-grained motion control and facilitating flexible and diverse combinations
of both types of motion. 2) Its motion conditions are determined by camera
poses and trajectories, which are appearance-free and minimally impact the
appearance or shape of objects in generated videos. 3) It is a relatively
generalizable model that can adapt to a wide array of camera poses and
trajectories once trained. Extensive qualitative and quantitative experiments
have been conducted to demonstrate the superiority of MotionCtrl over existing
methods.