MACE-Dance：音楽駆動型ダンス動画生成のためのモーション・アピアランスカスケードエキスパート

MACE-Dance: Motion-Appearance Cascaded Experts for Music-Driven Dance Video Generation

May 7, 2026

著者: Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He

cs.AI

要旨

オンラインダンス動画プラットフォームの台頭とAI生成コンテンツ（AIGC）の急速な進歩に伴い、音楽駆動型ダンス生成は注目すべき研究分野として浮上しています。音楽駆動型3Dダンス生成、ポーズ駆動型画像アニメーション、音声駆動型トーキングヘッド合成といった関連領域では大きな進展が見られるものの、既存手法を本タスクに直接適用することはできません。さらに、この分野における限られた研究では、高品質な視覚的外観と現実的な人体動作を同時に達成することに依然として苦戦しています。 これに対処するため、我々はカスケード型Mixture-of-Experts（MoE）を備えた音楽駆動型ダンス動画生成フレームワーク「MACE-Dance」を提案します。モーションエキスパートは音楽から3Dモーションを生成する際に運動学的妥当性と芸術的表現力を強化し、アピアランスエキスパートはモーションと参照条件に基づく動画合成を実行し、時空間的一貫性を保ちながら視覚的アイデンティティを保持します。 具体的には、モーションエキスパートはBiMamba-TransformerハイブリッドアーキテクチャとGuidance-Free Training（GFT）戦略を採用した拡散モデルを使用し、3Dダンス生成において最先端（SOTA）の性能を達成します。アピアランスエキスパートは分離型運動学-美的微調整戦略を採用し、ポーズ駆動型画像アニメーションで最先端の性能を実現します。 本タスクをより適切に評価するため、大規模で多様なデータセットを構築し、モーション-アピアランス評価プロトコルを設計しました。このプロトコルに基づき、MACE-Danceは最先端の性能を達成しています。コードはhttps://github.com/AMAP-ML/MACE-Danceで公開されています。

English

With the rise of online dance-video platforms and rapid advances in AI-generated content (AIGC), music-driven dance generation has emerged as a compelling research direction. Despite substantial progress in related domains such as music-driven 3D dance generation, pose-driven image animation, and audio-driven talking-head synthesis, existing methods cannot be directly adapted to this task. Moreover, the limited studies in this area still struggle to jointly achieve high-quality visual appearance and realistic human motion. Accordingly, we present MACE-Dance, a music-driven dance video generation framework with cascaded Mixture-of-Experts (MoE). The Motion Expert performs music-to-3D motion generation while enforcing kinematic plausibility and artistic expressiveness, whereas the Appearance Expert carries out motion- and reference-conditioned video synthesis, preserving visual identity with spatiotemporal coherence. Specifically, the Motion Expert adopts a diffusion model with a BiMamba-Transformer hybrid architecture and a Guidance-Free Training (GFT) strategy, achieving state-of-the-art (SOTA) performance in 3D dance generation. The Appearance Expert employs a decoupled kinematic-aesthetic fine-tuning strategy, achieving state-of-the-art (SOTA) performance in pose-driven image animation. To better benchmark this task, we curate a large-scale and diverse dataset and design a motion-appearance evaluation protocol. Based on this protocol, MACE-Dance also achieves state-of-the-art performance. Code is available at https://github.com/AMAP-ML/MACE-Dance.