MotionGPT: Movimento Humano como uma Linguagem Estrangeira

MotionGPT: Human Motion as a Foreign Language

June 26, 2023

Autores: Biao Jiang, Xin Chen, Wen Liu, Jingyi Yu, Gang Yu, Tao Chen

cs.AI

Resumo

Embora o avanço dos grandes modelos de linguagem pré-treinados continue a evoluir, a exploração da construção de um modelo unificado para linguagem e outros dados multimodais, como movimento, permanece desafiadora e inexplorada até o momento. Felizmente, o movimento humano exibe um acoplamento semântico semelhante à linguagem humana, frequentemente percebido como uma forma de linguagem corporal. Ao fundir dados de linguagem com modelos de movimento em larga escala, o pré-treinamento de movimento e linguagem que pode melhorar o desempenho de tarefas relacionadas ao movimento torna-se viável. Motivados por essa percepção, propomos o MotionGPT, um modelo unificado, versátil e amigável para lidar com múltiplas tarefas relevantes ao movimento. Especificamente, empregamos a quantização vetorial discreta para o movimento humano e transferimos o movimento 3D para tokens de movimento, semelhante ao processo de geração de tokens de palavras. Com base nesse "vocabulário de movimento", realizamos a modelagem de linguagem tanto no movimento quanto no texto de maneira unificada, tratando o movimento humano como uma linguagem específica. Além disso, inspirados pelo aprendizado por prompts, pré-treinamos o MotionGPT com uma mistura de dados de movimento e linguagem e o ajustamos para tarefas de perguntas e respostas baseadas em prompts. Experimentos extensivos demonstram que o MotionGPT alcança desempenhos de ponta em múltiplas tarefas de movimento, incluindo geração de movimento orientada por texto, legendagem de movimento, previsão de movimento e interpolação de movimento.

English

Though the advancement of pre-trained large language models unfolds, the exploration of building a unified model for language and other multi-modal data, such as motion, remains challenging and untouched so far. Fortunately, human motion displays a semantic coupling akin to human language, often perceived as a form of body language. By fusing language data with large-scale motion models, motion-language pre-training that can enhance the performance of motion-related tasks becomes feasible. Driven by this insight, we propose MotionGPT, a unified, versatile, and user-friendly motion-language model to handle multiple motion-relevant tasks. Specifically, we employ the discrete vector quantization for human motion and transfer 3D motion into motion tokens, similar to the generation process of word tokens. Building upon this "motion vocabulary", we perform language modeling on both motion and text in a unified manner, treating human motion as a specific language. Moreover, inspired by prompt learning, we pre-train MotionGPT with a mixture of motion-language data and fine-tune it on prompt-based question-and-answer tasks. Extensive experiments demonstrate that MotionGPT achieves state-of-the-art performances on multiple motion tasks including text-driven motion generation, motion captioning, motion prediction, and motion in-between.