Mogo: RQ Hierarchical Causal Transformer para la Generación de Movimiento Humano 3D de Alta Calidad

Mogo: RQ Hierarchical Causal Transformer for High-Quality 3D Human Motion Generation

December 5, 2024

Autores: Dongjie Fu

cs.AI

Resumen

En el campo de la generación de texto a movimiento, los Modelos Enmascarados tipo Bert (MoMask, MMM) actualmente producen salidas de mayor calidad en comparación con los modelos autoregresivos tipo GPT (T2M-GPT). Sin embargo, estos modelos tipo Bert a menudo carecen de la capacidad de salida en tiempo real requerida para aplicaciones en videojuegos y entornos multimedia, una característica inherente a los modelos tipo GPT. Además, demuestran un rendimiento más débil en la generación fuera de distribución. Para superar la calidad de los modelos tipo BERT aprovechando una estructura tipo GPT, sin agregar modelos de refinamiento adicionales que compliquen la escalabilidad de los datos, proponemos una arquitectura novedosa, Mogo (Generar Movimiento Solo una Vez), que genera movimientos humanos 3D realistas de alta calidad entrenando un único modelo transformador. Mogo consta de solo dos componentes principales: 1) RVQ-VAE, un autoencoder variacional de cuantificación vectorial residual jerárquico, que discretiza secuencias de movimiento continuas con alta precisión; 2) Transformador Causal Jerárquico, responsable de generar las secuencias de movimiento base de manera autoregresiva mientras infiere simultáneamente residuos en diferentes capas. Los resultados experimentales demuestran que Mogo puede generar secuencias de movimiento continuas y cíclicas de hasta 260 fotogramas (13 segundos), superando la limitación de longitud de 196 fotogramas (10 segundos) de conjuntos de datos existentes como HumanML3D. En el conjunto de prueba de HumanML3D, Mogo logra una puntuación FID de 0.079, superando tanto al modelo tipo GPT T2M-GPT (FID = 0.116), AttT2M (FID = 0.112) como al modelo tipo BERT MMM (FID = 0.080). Además, nuestro modelo logra el mejor rendimiento cuantitativo en la generación fuera de distribución.

English

In the field of text-to-motion generation, Bert-type Masked Models (MoMask, MMM) currently produce higher-quality outputs compared to GPT-type autoregressive models (T2M-GPT). However, these Bert-type models often lack the streaming output capability required for applications in video game and multimedia environments, a feature inherent to GPT-type models. Additionally, they demonstrate weaker performance in out-of-distribution generation. To surpass the quality of BERT-type models while leveraging a GPT-type structure, without adding extra refinement models that complicate scaling data, we propose a novel architecture, Mogo (Motion Only Generate Once), which generates high-quality lifelike 3D human motions by training a single transformer model. Mogo consists of only two main components: 1) RVQ-VAE, a hierarchical residual vector quantization variational autoencoder, which discretizes continuous motion sequences with high precision; 2) Hierarchical Causal Transformer, responsible for generating the base motion sequences in an autoregressive manner while simultaneously inferring residuals across different layers. Experimental results demonstrate that Mogo can generate continuous and cyclic motion sequences up to 260 frames (13 seconds), surpassing the 196 frames (10 seconds) length limitation of existing datasets like HumanML3D. On the HumanML3D test set, Mogo achieves a FID score of 0.079, outperforming both the GPT-type model T2M-GPT (FID = 0.116), AttT2M (FID = 0.112) and the BERT-type model MMM (FID = 0.080). Furthermore, our model achieves the best quantitative performance in out-of-distribution generation.