Motion Anything: Generazione di Movimento da Qualsiasi Input

Motion Anything: Any to Motion Generation

March 10, 2025

Autori: Zeyu Zhang, Yiran Wang, Wei Mao, Danning Li, Rui Zhao, Biao Wu, Zirui Song, Bohan Zhuang, Ian Reid, Richard Hartley

cs.AI

Abstract

La generazione condizionata del movimento è stata ampiamente studiata nel campo della visione artificiale, ma rimangono due sfide critiche. In primo luogo, sebbene i metodi autoregressivi mascherati abbiano recentemente superato gli approcci basati sulla diffusione, i modelli di mascheramento esistenti non dispongono di un meccanismo per dare priorità ai frame dinamici e alle parti del corpo in base alle condizioni date. In secondo luogo, i metodi esistenti per diverse modalità di condizionamento spesso non riescono a integrare efficacemente più modalità, limitando il controllo e la coerenza nel movimento generato. Per affrontare queste sfide, proponiamo Motion Anything, un framework di generazione del movimento multimodale che introduce un approccio di modellazione delle maschere basato sull'attenzione, consentendo un controllo fine-grana spaziale e temporale sui frame chiave e sulle azioni. Il nostro modello codifica in modo adattivo le condizioni multimodali, inclusi testo e musica, migliorando la controllabilità. Inoltre, introduciamo Text-Music-Dance (TMD), un nuovo dataset di movimento composto da 2.153 coppie di testo, musica e danza, rendendolo il doppio rispetto a AIST++, colmando così una lacuna critica nella comunità. Esperimenti estensivi dimostrano che Motion Anything supera i metodi all'avanguardia su più benchmark, ottenendo un miglioramento del 15% nell'FID su HumanML3D e mostrando guadagni di prestazioni consistenti su AIST++ e TMD. Visita il nostro sito web del progetto https://steve-zeyu-zhang.github.io/MotionAnything.

English

Conditional motion generation has been extensively studied in computer vision, yet two critical challenges remain. First, while masked autoregressive methods have recently outperformed diffusion-based approaches, existing masking models lack a mechanism to prioritize dynamic frames and body parts based on given conditions. Second, existing methods for different conditioning modalities often fail to integrate multiple modalities effectively, limiting control and coherence in generated motion. To address these challenges, we propose Motion Anything, a multimodal motion generation framework that introduces an Attention-based Mask Modeling approach, enabling fine-grained spatial and temporal control over key frames and actions. Our model adaptively encodes multimodal conditions, including text and music, improving controllability. Additionally, we introduce Text-Music-Dance (TMD), a new motion dataset consisting of 2,153 pairs of text, music, and dance, making it twice the size of AIST++, thereby filling a critical gap in the community. Extensive experiments demonstrate that Motion Anything surpasses state-of-the-art methods across multiple benchmarks, achieving a 15% improvement in FID on HumanML3D and showing consistent performance gains on AIST++ and TMD. See our project website https://steve-zeyu-zhang.github.io/MotionAnything