MotionGPT: El movimiento humano como un lenguaje extranjero

MotionGPT: Human Motion as a Foreign Language

June 26, 2023

Autores: Biao Jiang, Xin Chen, Wen Liu, Jingyi Yu, Gang Yu, Tao Chen

cs.AI

Resumen

Aunque el avance de los modelos de lenguaje preentrenados de gran escala continúa, la exploración de la construcción de un modelo unificado para el lenguaje y otros datos multimodales, como el movimiento, sigue siendo un desafío y un área inexplorada hasta ahora. Afortunadamente, el movimiento humano muestra un acoplamiento semántico similar al lenguaje humano, a menudo percibido como una forma de lenguaje corporal. Al fusionar datos de lenguaje con modelos de movimiento a gran escala, el preentrenamiento de movimiento-lenguaje que puede mejorar el rendimiento de tareas relacionadas con el movimiento se vuelve factible. Motivados por esta idea, proponemos MotionGPT, un modelo unificado, versátil y fácil de usar para manejar múltiples tareas relevantes al movimiento. Específicamente, empleamos la cuantización vectorial discreta para el movimiento humano y transferimos el movimiento 3D a tokens de movimiento, de manera similar al proceso de generación de tokens de palabras. Basándonos en este "vocabulario de movimiento", realizamos modelado de lenguaje tanto en movimiento como en texto de manera unificada, tratando el movimiento humano como un lenguaje específico. Además, inspirados por el aprendizaje basado en prompts, preentrenamos MotionGPT con una mezcla de datos de movimiento-lenguaje y lo afinamos en tareas de preguntas y respuestas basadas en prompts. Experimentos extensos demuestran que MotionGPT logra un rendimiento de vanguardia en múltiples tareas de movimiento, incluyendo la generación de movimiento impulsada por texto, la descripción de movimiento, la predicción de movimiento y la interpolación de movimiento.

English

Though the advancement of pre-trained large language models unfolds, the exploration of building a unified model for language and other multi-modal data, such as motion, remains challenging and untouched so far. Fortunately, human motion displays a semantic coupling akin to human language, often perceived as a form of body language. By fusing language data with large-scale motion models, motion-language pre-training that can enhance the performance of motion-related tasks becomes feasible. Driven by this insight, we propose MotionGPT, a unified, versatile, and user-friendly motion-language model to handle multiple motion-relevant tasks. Specifically, we employ the discrete vector quantization for human motion and transfer 3D motion into motion tokens, similar to the generation process of word tokens. Building upon this "motion vocabulary", we perform language modeling on both motion and text in a unified manner, treating human motion as a specific language. Moreover, inspired by prompt learning, we pre-train MotionGPT with a mixture of motion-language data and fine-tune it on prompt-based question-and-answer tasks. Extensive experiments demonstrate that MotionGPT achieves state-of-the-art performances on multiple motion tasks including text-driven motion generation, motion captioning, motion prediction, and motion in-between.