MagicMotion: Beheersbare Videogeneratie met Dicht-naar-Schaarse Trajectoriebegeleiding

MagicMotion: Controllable Video Generation with Dense-to-Sparse Trajectory Guidance

March 20, 2025

Auteurs: Quanhao Li, Zhen Xing, Rui Wang, Hui Zhang, Qi Dai, Zuxuan Wu

cs.AI

Samenvatting

Recente vooruitgang in videogeneratie heeft geleid tot opmerkelijke verbeteringen in visuele kwaliteit en temporele coherentie. Hierop is traject-controleerbare videogeneratie ontstaan, die precieze controle over objectbewegingen mogelijk maakt via expliciet gedefinieerde ruimtelijke paden. Bestaande methoden hebben echter moeite met complexe objectbewegingen en multi-objectbewegingscontrole, wat resulteert in onnauwkeurige trajectvolging, slechte objectconsistentie en verminderde visuele kwaliteit. Bovendien ondersteunen deze methoden alleen trajectcontrole in een enkel formaat, wat hun toepasbaarheid in diverse scenario's beperkt. Daarnaast is er geen openbaar beschikbare dataset of benchmark die specifiek is afgestemd op traject-controleerbare videogeneratie, wat robuuste training en systematische evaluatie belemmert. Om deze uitdagingen aan te pakken, introduceren we MagicMotion, een nieuw beeld-naar-video-generatieframework dat trajectcontrole mogelijk maakt via drie niveaus van voorwaarden, van dicht naar schaars: maskers, begrenzingsvakken en schaarse vakken. Gegeven een invoerbeeld en trajecten, animeert MagicMotion naadloos objecten langs gedefinieerde trajecten terwijl objectconsistentie en visuele kwaliteit behouden blijven. Verder presenteren we MagicData, een grootschalige traject-gecontroleerde videodataset, samen met een geautomatiseerde pijplijn voor annotatie en filtering. We introduceren ook MagicBench, een uitgebreide benchmark die zowel videokwaliteit als trajectcontrole-nauwkeurigheid beoordeelt voor verschillende aantallen objecten. Uitgebreide experimenten tonen aan dat MagicMotion eerdere methoden overtreft op verschillende metrieken. Onze projectpagina is openbaar beschikbaar op https://quanhaol.github.io/magicmotion-site.

English

Recent advances in video generation have led to remarkable improvements in visual quality and temporal coherence. Upon this, trajectory-controllable video generation has emerged to enable precise object motion control through explicitly defined spatial paths. However, existing methods struggle with complex object movements and multi-object motion control, resulting in imprecise trajectory adherence, poor object consistency, and compromised visual quality. Furthermore, these methods only support trajectory control in a single format, limiting their applicability in diverse scenarios. Additionally, there is no publicly available dataset or benchmark specifically tailored for trajectory-controllable video generation, hindering robust training and systematic evaluation. To address these challenges, we introduce MagicMotion, a novel image-to-video generation framework that enables trajectory control through three levels of conditions from dense to sparse: masks, bounding boxes, and sparse boxes. Given an input image and trajectories, MagicMotion seamlessly animates objects along defined trajectories while maintaining object consistency and visual quality. Furthermore, we present MagicData, a large-scale trajectory-controlled video dataset, along with an automated pipeline for annotation and filtering. We also introduce MagicBench, a comprehensive benchmark that assesses both video quality and trajectory control accuracy across different numbers of objects. Extensive experiments demonstrate that MagicMotion outperforms previous methods across various metrics. Our project page are publicly available at https://quanhaol.github.io/magicmotion-site.