MagicMotion : Génération de vidéo contrôlable avec guidage de trajectoire dense-à-sparse

MagicMotion: Controllable Video Generation with Dense-to-Sparse Trajectory Guidance

March 20, 2025

Auteurs: Quanhao Li, Zhen Xing, Rui Wang, Hui Zhang, Qi Dai, Zuxuan Wu

cs.AI

Résumé

Les récentes avancées dans la génération vidéo ont conduit à des améliorations remarquables en termes de qualité visuelle et de cohérence temporelle. Sur cette base, la génération vidéo contrôlable par trajectoire a émergé, permettant un contrôle précis des mouvements d'objets grâce à des chemins spatiaux explicitement définis. Cependant, les méthodes existantes peinent à gérer les mouvements complexes d'objets et le contrôle de mouvements multi-objets, ce qui entraîne une adhérence imprécise aux trajectoires, une faible cohérence des objets et une qualité visuelle compromise. De plus, ces méthodes ne prennent en charge le contrôle de trajectoire que dans un seul format, limitant ainsi leur applicabilité dans divers scénarios. Par ailleurs, il n'existe aucun ensemble de données ou benchmark public spécifiquement conçu pour la génération vidéo contrôlable par trajectoire, ce qui entrave l'entraînement robuste et l'évaluation systématique. Pour relever ces défis, nous présentons MagicMotion, un nouveau cadre de génération d'images en vidéo qui permet un contrôle de trajectoire à travers trois niveaux de conditions, du dense au sparse : masques, boîtes englobantes et boîtes sparse. Étant donné une image d'entrée et des trajectoires, MagicMotion anime de manière fluide les objets le long des trajectoires définies tout en maintenant la cohérence des objets et la qualité visuelle. En outre, nous présentons MagicData, un ensemble de données vidéo à grande échelle contrôlé par trajectoire, ainsi qu'un pipeline automatisé pour l'annotation et le filtrage. Nous introduisons également MagicBench, un benchmark complet qui évalue à la fois la qualité vidéo et la précision du contrôle de trajectoire pour différents nombres d'objets. Des expériences approfondies démontrent que MagicMotion surpasse les méthodes précédentes sur diverses métriques. Notre page de projet est accessible publiquement à l'adresse https://quanhaol.github.io/magicmotion-site.

English

Recent advances in video generation have led to remarkable improvements in visual quality and temporal coherence. Upon this, trajectory-controllable video generation has emerged to enable precise object motion control through explicitly defined spatial paths. However, existing methods struggle with complex object movements and multi-object motion control, resulting in imprecise trajectory adherence, poor object consistency, and compromised visual quality. Furthermore, these methods only support trajectory control in a single format, limiting their applicability in diverse scenarios. Additionally, there is no publicly available dataset or benchmark specifically tailored for trajectory-controllable video generation, hindering robust training and systematic evaluation. To address these challenges, we introduce MagicMotion, a novel image-to-video generation framework that enables trajectory control through three levels of conditions from dense to sparse: masks, bounding boxes, and sparse boxes. Given an input image and trajectories, MagicMotion seamlessly animates objects along defined trajectories while maintaining object consistency and visual quality. Furthermore, we present MagicData, a large-scale trajectory-controlled video dataset, along with an automated pipeline for annotation and filtering. We also introduce MagicBench, a comprehensive benchmark that assesses both video quality and trajectory control accuracy across different numbers of objects. Extensive experiments demonstrate that MagicMotion outperforms previous methods across various metrics. Our project page are publicly available at https://quanhaol.github.io/magicmotion-site.