Motion Anything: Alles naar Bewegingsgeneratie

Motion Anything: Any to Motion Generation

March 10, 2025

Auteurs: Zeyu Zhang, Yiran Wang, Wei Mao, Danning Li, Rui Zhao, Biao Wu, Zirui Song, Bohan Zhuang, Ian Reid, Richard Hartley

cs.AI

Samenvatting

Voorwaardelijke bewegingsgeneratie is uitgebreid bestudeerd in de computer vision, maar twee cruciale uitdagingen blijven bestaan. Ten eerste, hoewel gemaskeerde autoregressieve methoden recentelijk beter presteren dan op diffusie gebaseerde benaderingen, ontbreekt het bestaande maskeringsmodellen aan een mechanisme om dynamische frames en lichaamsdelen te prioriteren op basis van gegeven voorwaarden. Ten tweede slagen bestaande methoden voor verschillende conditioneringsmodaliteiten er vaak niet in om meerdere modaliteiten effectief te integreren, wat de controle en samenhang in gegenereerde beweging beperkt. Om deze uitdagingen aan te pakken, stellen we Motion Anything voor, een multimodale bewegingsgeneratieframework dat een Attention-based Mask Modeling benadering introduceert, waardoor fijnmazige ruimtelijke en temporele controle over sleutelframes en acties mogelijk wordt. Ons model codeert adaptief multimodale voorwaarden, waaronder tekst en muziek, wat de bestuurbaarheid verbetert. Daarnaast introduceren we Text-Music-Dance (TMD), een nieuwe bewegingsdataset bestaande uit 2.153 paren van tekst, muziek en dans, wat het twee keer zo groot maakt als AIST++, en daarmee een kritische leemte in de gemeenschap opvult. Uitgebreide experimenten tonen aan dat Motion Anything state-of-the-art methoden overtreft op meerdere benchmarks, met een verbetering van 15% in FID op HumanML3D en consistente prestatieverbeteringen op AIST++ en TMD. Zie onze projectwebsite https://steve-zeyu-zhang.github.io/MotionAnything.

English

Conditional motion generation has been extensively studied in computer vision, yet two critical challenges remain. First, while masked autoregressive methods have recently outperformed diffusion-based approaches, existing masking models lack a mechanism to prioritize dynamic frames and body parts based on given conditions. Second, existing methods for different conditioning modalities often fail to integrate multiple modalities effectively, limiting control and coherence in generated motion. To address these challenges, we propose Motion Anything, a multimodal motion generation framework that introduces an Attention-based Mask Modeling approach, enabling fine-grained spatial and temporal control over key frames and actions. Our model adaptively encodes multimodal conditions, including text and music, improving controllability. Additionally, we introduce Text-Music-Dance (TMD), a new motion dataset consisting of 2,153 pairs of text, music, and dance, making it twice the size of AIST++, thereby filling a critical gap in the community. Extensive experiments demonstrate that Motion Anything surpasses state-of-the-art methods across multiple benchmarks, achieving a 15% improvement in FID on HumanML3D and showing consistent performance gains on AIST++ and TMD. See our project website https://steve-zeyu-zhang.github.io/MotionAnything