ReMoMask: Geração de Movimento Mascarado Aumentada por Recuperação

ReMoMask: Retrieval-Augmented Masked Motion Generation

August 4, 2025

Autores: Zhengdao Li, Siheng Wang, Zeyu Zhang, Hao Tang

cs.AI

Resumo

A geração de Texto-para-Movimento (T2M) visa sintetizar sequências de movimento humano realistas e semanticamente alinhadas a partir de descrições em linguagem natural. No entanto, as abordagens atuais enfrentam desafios duplos: modelos generativos (por exemplo, modelos de difusão) sofrem com diversidade limitada, acúmulo de erros e implausibilidade física, enquanto métodos de Geração Aumentada por Recuperação (RAG) exibem inércia de difusão, colapso parcial de modos e artefatos assíncronos. Para abordar essas limitações, propomos o ReMoMask, um framework unificado que integra três inovações principais: 1) Um Modelo de Texto-Movimento com Momento Bidirecional desacopla a escala de amostras negativas do tamanho do lote por meio de filas de momento, melhorando substancialmente a precisão da recuperação cross-modal; 2) Um Mecanismo de Atenção Espaço-temporal Semântico impõe restrições biomecânicas durante a fusão em nível de partes para eliminar artefatos assíncronos; 3) A Orientação Livre de Classificador RAG incorpora geração incondicional menor para aprimorar a generalização. Construído sobre o RVQ-VAE do MoMask, o ReMoMask gera eficientemente movimentos temporalmente coerentes em etapas mínimas. Experimentos extensos em benchmarks padrão demonstram o desempenho state-of-the-art do ReMoMask, alcançando uma melhoria de 3,88% e 10,97% nos escores FID no HumanML3D e KIT-ML, respectivamente, em comparação com o método SOTA anterior, RAG-T2M. Código: https://github.com/AIGeeksGroup/ReMoMask. Website: https://aigeeksgroup.github.io/ReMoMask.

English

Text-to-Motion (T2M) generation aims to synthesize realistic and semantically aligned human motion sequences from natural language descriptions. However, current approaches face dual challenges: Generative models (e.g., diffusion models) suffer from limited diversity, error accumulation, and physical implausibility, while Retrieval-Augmented Generation (RAG) methods exhibit diffusion inertia, partial-mode collapse, and asynchronous artifacts. To address these limitations, we propose ReMoMask, a unified framework integrating three key innovations: 1) A Bidirectional Momentum Text-Motion Model decouples negative sample scale from batch size via momentum queues, substantially improving cross-modal retrieval precision; 2) A Semantic Spatio-temporal Attention mechanism enforces biomechanical constraints during part-level fusion to eliminate asynchronous artifacts; 3) RAG-Classier-Free Guidance incorporates minor unconditional generation to enhance generalization. Built upon MoMask's RVQ-VAE, ReMoMask efficiently generates temporally coherent motions in minimal steps. Extensive experiments on standard benchmarks demonstrate the state-of-the-art performance of ReMoMask, achieving a 3.88% and 10.97% improvement in FID scores on HumanML3D and KIT-ML, respectively, compared to the previous SOTA method RAG-T2M. Code: https://github.com/AIGeeksGroup/ReMoMask. Website: https://aigeeksgroup.github.io/ReMoMask.