MagicMotion: Geração Controlável de Vídeos com Orientação de Trajetória Densa para Esparsa

MagicMotion: Controllable Video Generation with Dense-to-Sparse Trajectory Guidance

March 20, 2025

Autores: Quanhao Li, Zhen Xing, Rui Wang, Hui Zhang, Qi Dai, Zuxuan Wu

cs.AI

Resumo

Os avanços recentes na geração de vídeos levaram a melhorias notáveis na qualidade visual e na coerência temporal. Com base nisso, surgiu a geração de vídeos com controle de trajetória, permitindo o controle preciso do movimento de objetos por meio de caminhos espaciais explicitamente definidos. No entanto, os métodos existentes enfrentam dificuldades com movimentos complexos de objetos e o controle de movimento de múltiplos objetos, resultando em adesão imprecisa à trajetória, consistência deficiente dos objetos e qualidade visual comprometida. Além disso, esses métodos suportam apenas o controle de trajetória em um único formato, limitando sua aplicabilidade em cenários diversos. Adicionalmente, não há um conjunto de dados ou benchmark publicamente disponível especificamente projetado para geração de vídeos com controle de trajetória, o que dificulta o treinamento robusto e a avaliação sistemática. Para enfrentar esses desafios, apresentamos o MagicMotion, um novo framework de geração de imagem para vídeo que permite o controle de trajetória através de três níveis de condições, de densas a esparsas: máscaras, caixas delimitadoras e caixas esparsas. Dada uma imagem de entrada e trajetórias, o MagicMotion anima objetos de forma contínua ao longo das trajetórias definidas, mantendo a consistência dos objetos e a qualidade visual. Além disso, apresentamos o MagicData, um grande conjunto de dados de vídeos com controle de trajetória, juntamente com um pipeline automatizado para anotação e filtragem. Também introduzimos o MagicBench, um benchmark abrangente que avalia tanto a qualidade do vídeo quanto a precisão do controle de trajetória em diferentes números de objetos. Experimentos extensivos demonstram que o MagicMotion supera os métodos anteriores em várias métricas. Nossa página do projeto está publicamente disponível em https://quanhaol.github.io/magicmotion-site.

English

Recent advances in video generation have led to remarkable improvements in visual quality and temporal coherence. Upon this, trajectory-controllable video generation has emerged to enable precise object motion control through explicitly defined spatial paths. However, existing methods struggle with complex object movements and multi-object motion control, resulting in imprecise trajectory adherence, poor object consistency, and compromised visual quality. Furthermore, these methods only support trajectory control in a single format, limiting their applicability in diverse scenarios. Additionally, there is no publicly available dataset or benchmark specifically tailored for trajectory-controllable video generation, hindering robust training and systematic evaluation. To address these challenges, we introduce MagicMotion, a novel image-to-video generation framework that enables trajectory control through three levels of conditions from dense to sparse: masks, bounding boxes, and sparse boxes. Given an input image and trajectories, MagicMotion seamlessly animates objects along defined trajectories while maintaining object consistency and visual quality. Furthermore, we present MagicData, a large-scale trajectory-controlled video dataset, along with an automated pipeline for annotation and filtering. We also introduce MagicBench, a comprehensive benchmark that assesses both video quality and trajectory control accuracy across different numbers of objects. Extensive experiments demonstrate that MagicMotion outperforms previous methods across various metrics. Our project page are publicly available at https://quanhaol.github.io/magicmotion-site.