Motion Anything: Генерация движения из чего угодно

Motion Anything: Any to Motion Generation

March 10, 2025

Авторы: Zeyu Zhang, Yiran Wang, Wei Mao, Danning Li, Rui Zhao, Biao Wu, Zirui Song, Bohan Zhuang, Ian Reid, Richard Hartley

cs.AI

Аннотация

Генерация условного движения активно изучается в области компьютерного зрения, однако остаются две ключевые проблемы. Во-первых, хотя маскированные авторегрессивные методы недавно превзошли подходы на основе диффузии, существующие модели с маскированием не имеют механизма для приоритизации динамических кадров и частей тела на основе заданных условий. Во-вторых, существующие методы для различных модальностей условий часто не способны эффективно интегрировать несколько модальностей, что ограничивает контроль и согласованность в генерируемом движении. Для решения этих проблем мы предлагаем Motion Anything — мультимодальную структуру для генерации движения, которая вводит подход Attention-based Mask Modeling, обеспечивая детализированный пространственный и временной контроль над ключевыми кадрами и действиями. Наша модель адаптивно кодирует мультимодальные условия, включая текст и музыку, повышая управляемость. Кроме того, мы представляем Text-Music-Dance (TMD) — новый набор данных о движении, состоящий из 2 153 пар текста, музыки и танца, что вдвое превышает размер AIST++, тем самым заполняя критический пробел в сообществе. Многочисленные эксперименты демонстрируют, что Motion Anything превосходит современные методы на нескольких тестовых наборах, достигая улучшения FID на 15% на HumanML3D и показывая стабильные улучшения производительности на AIST++ и TMD. См. наш проект на сайте https://steve-zeyu-zhang.github.io/MotionAnything.

English

Conditional motion generation has been extensively studied in computer vision, yet two critical challenges remain. First, while masked autoregressive methods have recently outperformed diffusion-based approaches, existing masking models lack a mechanism to prioritize dynamic frames and body parts based on given conditions. Second, existing methods for different conditioning modalities often fail to integrate multiple modalities effectively, limiting control and coherence in generated motion. To address these challenges, we propose Motion Anything, a multimodal motion generation framework that introduces an Attention-based Mask Modeling approach, enabling fine-grained spatial and temporal control over key frames and actions. Our model adaptively encodes multimodal conditions, including text and music, improving controllability. Additionally, we introduce Text-Music-Dance (TMD), a new motion dataset consisting of 2,153 pairs of text, music, and dance, making it twice the size of AIST++, thereby filling a critical gap in the community. Extensive experiments demonstrate that Motion Anything surpasses state-of-the-art methods across multiple benchmarks, achieving a 15% improvement in FID on HumanML3D and showing consistent performance gains on AIST++ and TMD. See our project website https://steve-zeyu-zhang.github.io/MotionAnything