MotionCtrl: Um Controlador de Movimento Unificado e Flexível para Geração de Vídeos
MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
December 6, 2023
Autores: Zhouxia Wang, Ziyang Yuan, Xintao Wang, Tianshui Chen, Menghan Xia, Ping Luo, Ying Shan
cs.AI
Resumo
Os movimentos em um vídeo consistem principalmente em movimento da câmera, induzido pelo deslocamento da câmera, e movimento de objetos, resultante do deslocamento dos objetos. O controle preciso tanto do movimento da câmera quanto do movimento dos objetos é essencial para a geração de vídeos. No entanto, os trabalhos existentes ou se concentram principalmente em um tipo de movimento ou não distinguem claramente entre os dois, limitando suas capacidades de controle e diversidade. Portanto, este artigo apresenta o MotionCtrl, um controlador de movimento unificado e flexível para geração de vídeos, projetado para controlar de forma eficaz e independente o movimento da câmera e o movimento dos objetos. A arquitetura e a estratégia de treinamento do MotionCtrl são cuidadosamente elaboradas, levando em consideração as propriedades inerentes do movimento da câmera, do movimento dos objetos e dos dados de treinamento imperfeitos. Em comparação com métodos anteriores, o MotionCtrl oferece três vantagens principais: 1) Controla de forma eficaz e independente o movimento da câmera e o movimento dos objetos, permitindo um controle de movimento mais refinado e facilitando combinações flexíveis e diversas de ambos os tipos de movimento. 2) Suas condições de movimento são determinadas por poses e trajetórias da câmera, que são livres de aparência e têm impacto mínimo na aparência ou forma dos objetos nos vídeos gerados. 3) É um modelo relativamente generalizável que pode se adaptar a uma ampla variedade de poses e trajetórias da câmera após o treinamento. Experimentos qualitativos e quantitativos extensivos foram conduzidos para demonstrar a superioridade do MotionCtrl em relação aos métodos existentes.
English
Motions in a video primarily consist of camera motion, induced by camera
movement, and object motion, resulting from object movement. Accurate control
of both camera and object motion is essential for video generation. However,
existing works either mainly focus on one type of motion or do not clearly
distinguish between the two, limiting their control capabilities and diversity.
Therefore, this paper presents MotionCtrl, a unified and flexible motion
controller for video generation designed to effectively and independently
control camera and object motion. The architecture and training strategy of
MotionCtrl are carefully devised, taking into account the inherent properties
of camera motion, object motion, and imperfect training data. Compared to
previous methods, MotionCtrl offers three main advantages: 1) It effectively
and independently controls camera motion and object motion, enabling more
fine-grained motion control and facilitating flexible and diverse combinations
of both types of motion. 2) Its motion conditions are determined by camera
poses and trajectories, which are appearance-free and minimally impact the
appearance or shape of objects in generated videos. 3) It is a relatively
generalizable model that can adapt to a wide array of camera poses and
trajectories once trained. Extensive qualitative and quantitative experiments
have been conducted to demonstrate the superiority of MotionCtrl over existing
methods.