MagicMotion: 密から疎への軌道ガイダンスによる制御可能なビデオ生成

要旨

近年のビデオ生成技術の進歩により、視覚品質と時間的整合性が著しく向上しています。これに基づき、軌道制御可能なビデオ生成が登場し、明示的に定義された空間パスを通じて物体の動きを精密に制御することが可能になりました。しかし、既存の手法は複雑な物体の動きや複数物体の動き制御に苦戦しており、軌道の正確な追従、物体の一貫性の欠如、視覚品質の低下といった問題が生じています。さらに、これらの手法は単一形式の軌道制御しかサポートしておらず、多様なシナリオでの適用性が制限されています。加えて、軌道制御可能なビデオ生成に特化した公開データセットやベンチマークが存在しないため、堅牢なトレーニングと体系的な評価が妨げられています。これらの課題に対処するため、我々はMagicMotionを導入します。これは、マスク、バウンディングボックス、スパースボックスという密から疎までの3つのレベルの条件を通じて軌道制御を可能にする新しい画像からビデオへの生成フレームワークです。入力画像と軌道が与えられると、MagicMotionは物体の一貫性と視覚品質を維持しながら、定義された軌道に沿って物体をシームレスにアニメーション化します。さらに、大規模な軌道制御ビデオデータセットであるMagicDataと、注釈とフィルタリングのための自動化パイプラインを提供します。また、異なる数の物体にわたるビデオ品質と軌道制御精度を評価する包括的なベンチマークであるMagicBenchを導入します。広範な実験により、MagicMotionが様々なメトリクスにおいて従来の手法を凌駕することが実証されています。プロジェクトページはhttps://quanhaol.github.io/magicmotion-siteで公開されています。

English

Recent advances in video generation have led to remarkable improvements in visual quality and temporal coherence. Upon this, trajectory-controllable video generation has emerged to enable precise object motion control through explicitly defined spatial paths. However, existing methods struggle with complex object movements and multi-object motion control, resulting in imprecise trajectory adherence, poor object consistency, and compromised visual quality. Furthermore, these methods only support trajectory control in a single format, limiting their applicability in diverse scenarios. Additionally, there is no publicly available dataset or benchmark specifically tailored for trajectory-controllable video generation, hindering robust training and systematic evaluation. To address these challenges, we introduce MagicMotion, a novel image-to-video generation framework that enables trajectory control through three levels of conditions from dense to sparse: masks, bounding boxes, and sparse boxes. Given an input image and trajectories, MagicMotion seamlessly animates objects along defined trajectories while maintaining object consistency and visual quality. Furthermore, we present MagicData, a large-scale trajectory-controlled video dataset, along with an automated pipeline for annotation and filtering. We also introduce MagicBench, a comprehensive benchmark that assesses both video quality and trajectory control accuracy across different numbers of objects. Extensive experiments demonstrate that MagicMotion outperforms previous methods across various metrics. Our project page are publicly available at https://quanhaol.github.io/magicmotion-site.

MagicMotion: 密から疎への軌道ガイダンスによる制御可能なビデオ生成

MagicMotion: Controllable Video Generation with Dense-to-Sparse Trajectory Guidance

要旨

Support