MagicMotion: Generazione Controllabile di Video con Guida da Traiettorie Dense a Sparse

MagicMotion: Controllable Video Generation with Dense-to-Sparse Trajectory Guidance

March 20, 2025

Autori: Quanhao Li, Zhen Xing, Rui Wang, Hui Zhang, Qi Dai, Zuxuan Wu

cs.AI

Abstract

I recenti progressi nella generazione di video hanno portato a notevoli miglioramenti nella qualità visiva e nella coerenza temporale. Su questa base, è emersa la generazione di video controllabile tramite traiettorie, che consente un controllo preciso del movimento degli oggetti attraverso percorsi spaziali definiti esplicitamente. Tuttavia, i metodi esistenti faticano a gestire movimenti complessi degli oggetti e il controllo del movimento di più oggetti, risultando in un'adesione imprecisa alle traiettorie, una scarsa coerenza degli oggetti e una qualità visiva compromessa. Inoltre, questi metodi supportano il controllo delle traiettorie solo in un singolo formato, limitando la loro applicabilità in scenari diversi. In aggiunta, non esiste un dataset o un benchmark pubblicamente disponibile specificamente progettato per la generazione di video controllabile tramite traiettorie, ostacolando un addestramento robusto e una valutazione sistematica. Per affrontare queste sfide, introduciamo MagicMotion, un nuovo framework di generazione di video da immagini che abilita il controllo delle traiettorie attraverso tre livelli di condizioni, da dense a sparse: maschere, bounding box e box sparse. Dato un'immagine di input e delle traiettorie, MagicMotion anima senza soluzione di continuità gli oggetti lungo le traiettorie definite, mantenendo la coerenza degli oggetti e la qualità visiva. Inoltre, presentiamo MagicData, un dataset su larga scala di video controllati tramite traiettorie, insieme a una pipeline automatizzata per l'annotazione e il filtraggio. Introduciamo anche MagicBench, un benchmark completo che valuta sia la qualità del video che l'accuratezza del controllo delle traiettorie su diversi numeri di oggetti. Esperimenti estensivi dimostrano che MagicMotion supera i metodi precedenti in varie metriche. La nostra pagina del progetto è pubblicamente disponibile all'indirizzo https://quanhaol.github.io/magicmotion-site.

English

Recent advances in video generation have led to remarkable improvements in visual quality and temporal coherence. Upon this, trajectory-controllable video generation has emerged to enable precise object motion control through explicitly defined spatial paths. However, existing methods struggle with complex object movements and multi-object motion control, resulting in imprecise trajectory adherence, poor object consistency, and compromised visual quality. Furthermore, these methods only support trajectory control in a single format, limiting their applicability in diverse scenarios. Additionally, there is no publicly available dataset or benchmark specifically tailored for trajectory-controllable video generation, hindering robust training and systematic evaluation. To address these challenges, we introduce MagicMotion, a novel image-to-video generation framework that enables trajectory control through three levels of conditions from dense to sparse: masks, bounding boxes, and sparse boxes. Given an input image and trajectories, MagicMotion seamlessly animates objects along defined trajectories while maintaining object consistency and visual quality. Furthermore, we present MagicData, a large-scale trajectory-controlled video dataset, along with an automated pipeline for annotation and filtering. We also introduce MagicBench, a comprehensive benchmark that assesses both video quality and trajectory control accuracy across different numbers of objects. Extensive experiments demonstrate that MagicMotion outperforms previous methods across various metrics. Our project page are publicly available at https://quanhaol.github.io/magicmotion-site.