MACE-Dance: Каскадные эксперты по движению и внешности для генерации танцевальных видео под музыку
MACE-Dance: Motion-Appearance Cascaded Experts for Music-Driven Dance Video Generation
May 7, 2026
Авторы: Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He
cs.AI
Аннотация
С ростом популярности онлайн-платформ для танцевальных видео и быстрым развитием технологий создания контента с использованием искусственного интеллекта (AIGC), генерация танцев на основе музыки стала перспективным направлением исследований. Несмотря на значительный прогресс в смежных областях, таких как генерация 3D-танцев на основе музыки, анимация изображений на основе поз и синтез говорящих голов на основе аудио, существующие методы не могут быть напрямую адаптированы для решения этой задачи. Более того, ограниченные исследования в данной области до сих пор сталкиваются с трудностями в одновременном достижении высококачественного визуального вида и реалистичности движений человека. В связи с этим мы представляем MACE-Dance, фреймворк для генерации танцевальных видео на основе музыки с использованием каскадной архитектуры Mixture-of-Experts (MoE). Эксперт по движению выполняет генерацию 3D-движений на основе музыки, обеспечивая кинематическую правдоподобность и художественную выразительность, тогда как Эксперт по внешнему виду осуществляет синтез видео на основе движений и референсов, сохраняя визуальную идентичность с пространственно-временной согласованностью. В частности, Эксперт по движению использует диффузионную модель с гибридной архитектурой BiMamba-Transformer и стратегию обучения без руководства (GFT), достигая наилучших результатов в генерации 3D-танцев. Эксперт по внешнему виду применяет стратегию раздельной тонкой настройки кинематики и эстетики, достигая наилучших результатов в анимации изображений на основе поз. Для более точной оценки этой задачи мы создали крупномасштабный и разнообразный набор данных и разработали протокол оценки движения и внешнего вида. На основе этого протокола MACE-Dance также демонстрирует наилучшие результаты. Код доступен по адресу: https://github.com/AMAP-ML/MACE-Dance.
English
With the rise of online dance-video platforms and rapid advances in AI-generated content (AIGC), music-driven dance generation has emerged as a compelling research direction. Despite substantial progress in related domains such as music-driven 3D dance generation, pose-driven image animation, and audio-driven talking-head synthesis, existing methods cannot be directly adapted to this task. Moreover, the limited studies in this area still struggle to jointly achieve high-quality visual appearance and realistic human motion. Accordingly, we present MACE-Dance, a music-driven dance video generation framework with cascaded Mixture-of-Experts (MoE). The Motion Expert performs music-to-3D motion generation while enforcing kinematic plausibility and artistic expressiveness, whereas the Appearance Expert carries out motion- and reference-conditioned video synthesis, preserving visual identity with spatiotemporal coherence. Specifically, the Motion Expert adopts a diffusion model with a BiMamba-Transformer hybrid architecture and a Guidance-Free Training (GFT) strategy, achieving state-of-the-art (SOTA) performance in 3D dance generation. The Appearance Expert employs a decoupled kinematic-aesthetic fine-tuning strategy, achieving state-of-the-art (SOTA) performance in pose-driven image animation. To better benchmark this task, we curate a large-scale and diverse dataset and design a motion-appearance evaluation protocol. Based on this protocol, MACE-Dance also achieves state-of-the-art performance. Code is available at https://github.com/AMAP-ML/MACE-Dance.