ReMoMask: 検索拡張型マスク付きモーション生成

ReMoMask: Retrieval-Augmented Masked Motion Generation

August 4, 2025

著者: Zhengdao Li, Siheng Wang, Zeyu Zhang, Hao Tang

cs.AI

要旨

テキストからモーション（T2M）生成は、自然言語記述から現実的かつ意味的に整合した人間のモーションシーケンスを合成することを目指す。しかし、現在の手法は二重の課題に直面している。生成モデル（例えば、拡散モデル）は多様性の制限、誤差の蓄積、物理的な非現実性に悩まされており、一方で検索拡張生成（RAG）手法は拡散慣性、部分的なモード崩壊、非同期アーティファクトを示す。これらの制限に対処するため、我々はReMoMaskを提案する。これは、以下の3つの主要な革新を統合した統一フレームワークである：1）双方向モーメンタムテキスト-モーションモデルは、モーメンタムキューを介して負のサンプルスケールをバッチサイズから分離し、クロスモーダル検索精度を大幅に向上させる；2）セマンティック時空間アテンションメカニズムは、部分レベルの融合中に生体力学的制約を強化し、非同期アーティファクトを排除する；3）RAG-Classier-Freeガイダンスは、無条件生成を少量取り入れることで汎化能力を向上させる。MoMaskのRVQ-VAEを基盤として、ReMoMaskは最小ステップで時間的に一貫したモーションを効率的に生成する。標準ベンチマークでの広範な実験により、ReMoMaskは従来のSOTA手法であるRAG-T2Mと比較して、HumanML3DおよびKIT-MLにおいてそれぞれ3.88％および10.97％のFIDスコア改善を達成し、最先端の性能を示すことが実証された。コード：https://github.com/AIGeeksGroup/ReMoMask。ウェブサイト：https://aigeeksgroup.github.io/ReMoMask。

English

Text-to-Motion (T2M) generation aims to synthesize realistic and semantically aligned human motion sequences from natural language descriptions. However, current approaches face dual challenges: Generative models (e.g., diffusion models) suffer from limited diversity, error accumulation, and physical implausibility, while Retrieval-Augmented Generation (RAG) methods exhibit diffusion inertia, partial-mode collapse, and asynchronous artifacts. To address these limitations, we propose ReMoMask, a unified framework integrating three key innovations: 1) A Bidirectional Momentum Text-Motion Model decouples negative sample scale from batch size via momentum queues, substantially improving cross-modal retrieval precision; 2) A Semantic Spatio-temporal Attention mechanism enforces biomechanical constraints during part-level fusion to eliminate asynchronous artifacts; 3) RAG-Classier-Free Guidance incorporates minor unconditional generation to enhance generalization. Built upon MoMask's RVQ-VAE, ReMoMask efficiently generates temporally coherent motions in minimal steps. Extensive experiments on standard benchmarks demonstrate the state-of-the-art performance of ReMoMask, achieving a 3.88% and 10.97% improvement in FID scores on HumanML3D and KIT-ML, respectively, compared to the previous SOTA method RAG-T2M. Code: https://github.com/AIGeeksGroup/ReMoMask. Website: https://aigeeksgroup.github.io/ReMoMask.