MotionCtrl: Унифицированный и гибкий контроллер движения для генерации видео
MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
December 6, 2023
Авторы: Zhouxia Wang, Ziyang Yuan, Xintao Wang, Tianshui Chen, Menghan Xia, Ping Luo, Ying Shan
cs.AI
Аннотация
Движения в видео в основном состоят из движения камеры, вызванного перемещением самой камеры, и движения объектов, возникающего из-за их перемещения. Точный контроль как движения камеры, так и движения объектов является важным для генерации видео. Однако существующие работы либо сосредоточены преимущественно на одном типе движения, либо не проводят четкого разграничения между ними, что ограничивает их возможности управления и разнообразие. В связи с этим, в данной статье представлен MotionCtrl — унифицированный и гибкий контроллер движения для генерации видео, разработанный для эффективного и независимого управления движением камеры и объектов. Архитектура и стратегия обучения MotionCtrl тщательно продуманы с учетом inherent свойств движения камеры, движения объектов и неидеальных обучающих данных. По сравнению с предыдущими методами, MotionCtrl предлагает три основных преимущества: 1) Он эффективно и независимо управляет движением камеры и объектов, обеспечивая более детализированный контроль движения и способствуя гибким и разнообразным комбинациям обоих типов движения. 2) Его условия движения определяются позами и траекториями камеры, которые не зависят от внешнего вида и минимально влияют на внешний вид или форму объектов в генерируемых видео. 3) Это относительно универсальная модель, которая может адаптироваться к широкому спектру поз и траекторий камеры после обучения. Проведены обширные качественные и количественные эксперименты, демонстрирующие превосходство MotionCtrl над существующими методами.
English
Motions in a video primarily consist of camera motion, induced by camera
movement, and object motion, resulting from object movement. Accurate control
of both camera and object motion is essential for video generation. However,
existing works either mainly focus on one type of motion or do not clearly
distinguish between the two, limiting their control capabilities and diversity.
Therefore, this paper presents MotionCtrl, a unified and flexible motion
controller for video generation designed to effectively and independently
control camera and object motion. The architecture and training strategy of
MotionCtrl are carefully devised, taking into account the inherent properties
of camera motion, object motion, and imperfect training data. Compared to
previous methods, MotionCtrl offers three main advantages: 1) It effectively
and independently controls camera motion and object motion, enabling more
fine-grained motion control and facilitating flexible and diverse combinations
of both types of motion. 2) Its motion conditions are determined by camera
poses and trajectories, which are appearance-free and minimally impact the
appearance or shape of objects in generated videos. 3) It is a relatively
generalizable model that can adapt to a wide array of camera poses and
trajectories once trained. Extensive qualitative and quantitative experiments
have been conducted to demonstrate the superiority of MotionCtrl over existing
methods.