Motion Anything : Génération de mouvement à partir de n'importe quoi

Motion Anything: Any to Motion Generation

March 10, 2025

Auteurs: Zeyu Zhang, Yiran Wang, Wei Mao, Danning Li, Rui Zhao, Biao Wu, Zirui Song, Bohan Zhuang, Ian Reid, Richard Hartley

cs.AI

Résumé

La génération conditionnelle de mouvements a été largement étudiée en vision par ordinateur, mais deux défis majeurs persistent. Premièrement, bien que les méthodes autoregressives masquées aient récemment surpassé les approches basées sur la diffusion, les modèles de masquage existants ne disposent pas d'un mécanisme pour prioriser les images dynamiques et les parties du corps en fonction des conditions données. Deuxièmement, les méthodes existantes pour différentes modalités de conditionnement échouent souvent à intégrer efficacement plusieurs modalités, limitant ainsi le contrôle et la cohérence des mouvements générés. Pour relever ces défis, nous proposons Motion Anything, un cadre de génération de mouvements multimodal qui introduit une approche de modélisation de masquage basée sur l'attention, permettant un contrôle spatio-temporel fin des images clés et des actions. Notre modèle encode de manière adaptative les conditions multimodales, incluant le texte et la musique, améliorant ainsi la contrôlabilité. De plus, nous introduisons Text-Music-Dance (TMD), un nouveau jeu de données de mouvements composé de 2 153 paires de texte, musique et danse, ce qui représente le double de la taille d'AIST++, comblant ainsi une lacune critique dans la communauté. Des expériences approfondies démontrent que Motion Anything surpasse les méthodes de pointe sur plusieurs benchmarks, obtenant une amélioration de 15 % du FID sur HumanML3D et affichant des gains de performance constants sur AIST++ et TMD. Consultez notre site web de projet : https://steve-zeyu-zhang.github.io/MotionAnything

English

Conditional motion generation has been extensively studied in computer vision, yet two critical challenges remain. First, while masked autoregressive methods have recently outperformed diffusion-based approaches, existing masking models lack a mechanism to prioritize dynamic frames and body parts based on given conditions. Second, existing methods for different conditioning modalities often fail to integrate multiple modalities effectively, limiting control and coherence in generated motion. To address these challenges, we propose Motion Anything, a multimodal motion generation framework that introduces an Attention-based Mask Modeling approach, enabling fine-grained spatial and temporal control over key frames and actions. Our model adaptively encodes multimodal conditions, including text and music, improving controllability. Additionally, we introduce Text-Music-Dance (TMD), a new motion dataset consisting of 2,153 pairs of text, music, and dance, making it twice the size of AIST++, thereby filling a critical gap in the community. Extensive experiments demonstrate that Motion Anything surpasses state-of-the-art methods across multiple benchmarks, achieving a 15% improvement in FID on HumanML3D and showing consistent performance gains on AIST++ and TMD. See our project website https://steve-zeyu-zhang.github.io/MotionAnything