モーション・エニシング：任意からモーション生成へ

Motion Anything: Any to Motion Generation

March 10, 2025

著者: Zeyu Zhang, Yiran Wang, Wei Mao, Danning Li, Rui Zhao, Biao Wu, Zirui Song, Bohan Zhuang, Ian Reid, Richard Hartley

cs.AI

要旨

条件付きモーション生成はコンピュータビジョン分野で広く研究されてきたが、依然として2つの重要な課題が残されている。第一に、マスク付き自己回帰モデルが最近拡散ベースのアプローチを上回る成果を上げているものの、既存のマスキングモデルには与えられた条件に基づいて動的なフレームや身体部位を優先するメカニズムが欠けている。第二に、異なる条件付けモダリティに対する既存の手法は、複数のモダリティを効果的に統合することができず、生成されるモーションの制御性と一貫性が制限されている。これらの課題に対処するため、我々はMotion Anythingを提案する。これは、Attentionベースのマスクモデリングアプローチを導入したマルチモーダルモーション生成フレームワークであり、キーフレームやアクションに対するきめ細かい空間的・時間的制御を可能にする。本モデルはテキストや音楽を含むマルチモーダル条件を適応的にエンコードし、制御性を向上させる。さらに、テキスト、音楽、ダンスの2,153ペアからなる新しいモーションデータセットText-Music-Dance (TMD)を導入し、AIST++の2倍の規模を実現することで、コミュニティにおける重要なギャップを埋める。大規模な実験により、Motion Anythingが複数のベンチマークで最先端の手法を上回り、HumanML3DではFIDで15%の改善を達成し、AIST++とTMDでも一貫した性能向上を示すことが実証された。プロジェクトウェブサイトはhttps://steve-zeyu-zhang.github.io/MotionAnythingを参照。

English

Conditional motion generation has been extensively studied in computer vision, yet two critical challenges remain. First, while masked autoregressive methods have recently outperformed diffusion-based approaches, existing masking models lack a mechanism to prioritize dynamic frames and body parts based on given conditions. Second, existing methods for different conditioning modalities often fail to integrate multiple modalities effectively, limiting control and coherence in generated motion. To address these challenges, we propose Motion Anything, a multimodal motion generation framework that introduces an Attention-based Mask Modeling approach, enabling fine-grained spatial and temporal control over key frames and actions. Our model adaptively encodes multimodal conditions, including text and music, improving controllability. Additionally, we introduce Text-Music-Dance (TMD), a new motion dataset consisting of 2,153 pairs of text, music, and dance, making it twice the size of AIST++, thereby filling a critical gap in the community. Extensive experiments demonstrate that Motion Anything surpasses state-of-the-art methods across multiple benchmarks, achieving a 15% improvement in FID on HumanML3D and showing consistent performance gains on AIST++ and TMD. See our project website https://steve-zeyu-zhang.github.io/MotionAnything