MagicMotion: Управляемая генерация видео с использованием плотно-разреженного руководства по траекториям

MagicMotion: Controllable Video Generation with Dense-to-Sparse Trajectory Guidance

March 20, 2025

Авторы: Quanhao Li, Zhen Xing, Rui Wang, Hui Zhang, Qi Dai, Zuxuan Wu

cs.AI

Аннотация

Последние достижения в области генерации видео привели к значительному улучшению визуального качества и временной согласованности. На этом фоне появилась генерация видео с управлением траекториями, которая позволяет точно контролировать движение объектов через явно заданные пространственные пути. Однако существующие методы сталкиваются с трудностями при работе со сложными движениями объектов и управлением движением нескольких объектов, что приводит к неточному следованию траекториям, плохой согласованности объектов и ухудшению визуального качества. Более того, эти методы поддерживают управление траекториями только в одном формате, что ограничивает их применимость в различных сценариях. Кроме того, отсутствует общедоступный набор данных или бенчмарк, специально разработанный для генерации видео с управлением траекториями, что затрудняет надежное обучение и систематическую оценку. Для решения этих проблем мы представляем MagicMotion — новый фреймворк для генерации видео из изображений, который позволяет управлять траекториями через три уровня условий от плотных до разреженных: маски, ограничивающие рамки и разреженные рамки. При заданном входном изображении и траекториях MagicMotion плавно анимирует объекты вдоль заданных траекторий, сохраняя согласованность объектов и визуальное качество. Кроме того, мы представляем MagicData — крупномасштабный набор данных для видео с управлением траекториями, а также автоматизированный конвейер для аннотирования и фильтрации. Мы также представляем MagicBench — комплексный бенчмарк, который оценивает как качество видео, так и точность управления траекториями для разного количества объектов. Многочисленные эксперименты демонстрируют, что MagicMotion превосходит предыдущие методы по различным метрикам. Наша страница проекта доступна по адресу https://quanhaol.github.io/magicmotion-site.

English

Recent advances in video generation have led to remarkable improvements in visual quality and temporal coherence. Upon this, trajectory-controllable video generation has emerged to enable precise object motion control through explicitly defined spatial paths. However, existing methods struggle with complex object movements and multi-object motion control, resulting in imprecise trajectory adherence, poor object consistency, and compromised visual quality. Furthermore, these methods only support trajectory control in a single format, limiting their applicability in diverse scenarios. Additionally, there is no publicly available dataset or benchmark specifically tailored for trajectory-controllable video generation, hindering robust training and systematic evaluation. To address these challenges, we introduce MagicMotion, a novel image-to-video generation framework that enables trajectory control through three levels of conditions from dense to sparse: masks, bounding boxes, and sparse boxes. Given an input image and trajectories, MagicMotion seamlessly animates objects along defined trajectories while maintaining object consistency and visual quality. Furthermore, we present MagicData, a large-scale trajectory-controlled video dataset, along with an automated pipeline for annotation and filtering. We also introduce MagicBench, a comprehensive benchmark that assesses both video quality and trajectory control accuracy across different numbers of objects. Extensive experiments demonstrate that MagicMotion outperforms previous methods across various metrics. Our project page are publicly available at https://quanhaol.github.io/magicmotion-site.