ReMoMask: Abrufverstärkte maskierte Bewegungsgenerierung

ReMoMask: Retrieval-Augmented Masked Motion Generation

August 4, 2025

papers.authors: Zhengdao Li, Siheng Wang, Zeyu Zhang, Hao Tang

cs.AI

papers.abstract

Text-to-Motion (T2M)-Generierung zielt darauf ab, realistische und semantisch abgestimmte menschliche Bewegungssequenzen aus natürlichen Sprachbeschreibungen zu synthetisieren. Allerdings stehen aktuelle Ansätze vor doppelten Herausforderungen: Generative Modelle (z. B. Diffusionsmodelle) leiden unter begrenzter Vielfalt, Fehlerakkumulation und physikalischer Unplausibilität, während Retrieval-Augmented Generation (RAG)-Methoden Diffusionsinertie, partiellen Modus-Zusammenbruch und asynchrone Artefakte aufweisen. Um diese Einschränkungen zu überwinden, schlagen wir ReMoMask vor, ein einheitliches Framework, das drei Schlüsselinnovationen integriert: 1) Ein bidirektionales Momentum-Text-Motion-Modell entkoppelt die Skalierung negativer Beispiele von der Batch-Größe durch Momentum-Warteschlangen und verbessert die Präzision des cross-modalen Retrievals erheblich; 2) Ein semantischer räumlich-zeitlicher Aufmerksamkeitsmechanismus erzwingt biomechanische Einschränkungen während der part-basierten Fusion, um asynchrone Artefakte zu eliminieren; 3) RAG-Classier-Free Guidance integriert geringfügige unkonditionierte Generierung, um die Generalisierung zu verbessern. Basierend auf MoMasks RVQ-VAE generiert ReMoMask effizient zeitlich kohärente Bewegungen in minimalen Schritten. Umfangreiche Experimente auf Standard-Benchmarks demonstrieren die state-of-the-art Leistung von ReMoMask, mit einer Verbesserung der FID-Werte um 3,88 % und 10,97 % auf HumanML3D bzw. KIT-ML im Vergleich zur bisherigen SOTA-Methode RAG-T2M. Code: https://github.com/AIGeeksGroup/ReMoMask. Website: https://aigeeksgroup.github.io/ReMoMask.

English

Text-to-Motion (T2M) generation aims to synthesize realistic and semantically aligned human motion sequences from natural language descriptions. However, current approaches face dual challenges: Generative models (e.g., diffusion models) suffer from limited diversity, error accumulation, and physical implausibility, while Retrieval-Augmented Generation (RAG) methods exhibit diffusion inertia, partial-mode collapse, and asynchronous artifacts. To address these limitations, we propose ReMoMask, a unified framework integrating three key innovations: 1) A Bidirectional Momentum Text-Motion Model decouples negative sample scale from batch size via momentum queues, substantially improving cross-modal retrieval precision; 2) A Semantic Spatio-temporal Attention mechanism enforces biomechanical constraints during part-level fusion to eliminate asynchronous artifacts; 3) RAG-Classier-Free Guidance incorporates minor unconditional generation to enhance generalization. Built upon MoMask's RVQ-VAE, ReMoMask efficiently generates temporally coherent motions in minimal steps. Extensive experiments on standard benchmarks demonstrate the state-of-the-art performance of ReMoMask, achieving a 3.88% and 10.97% improvement in FID scores on HumanML3D and KIT-ML, respectively, compared to the previous SOTA method RAG-T2M. Code: https://github.com/AIGeeksGroup/ReMoMask. Website: https://aigeeksgroup.github.io/ReMoMask.