MotionGPT: Modelos de Linguagem Ajustados são Geradores de Movimento de Propósito Geral

MotionGPT: Finetuned LLMs are General-Purpose Motion Generators

June 19, 2023

Autores: Yaqi Zhang, Di Huang, Bin Liu, Shixiang Tang, Yan Lu, Lu Chen, Lei Bai, Qi Chu, Nenghai Yu, Wanli Ouyang

cs.AI

Resumo

A geração de movimentos humanos realistas a partir de descrições de ações específicas tem experimentado avanços significativos devido à crescente demanda por humanos digitais. Embora trabalhos recentes tenham alcançado resultados impressionantes na geração de movimentos diretamente a partir de descrições textuais de ações, eles frequentemente suportam apenas uma única modalidade de sinal de controle, o que limita sua aplicação na indústria real de humanos digitais. Este artigo apresenta um Motion General-Purpose generaTor (MotionGPT) que pode utilizar sinais de controle multimodais, como texto e poses de quadro único, para gerar movimentos humanos consecutivos, tratando sinais multimodais como tokens de entrada especiais em modelos de linguagem de grande escala (LLMs). Especificamente, primeiro quantizamos os sinais de controle multimodais em códigos discretos e, em seguida, os formulamos em uma instrução de prompt unificada para solicitar que os LLMs gerem a resposta de movimento. Nosso MotionGPT demonstra um modelo unificado de geração de movimento humano com sinais de controle multimodais, ajustando apenas 0,4% dos parâmetros do LLM. Até onde sabemos, o MotionGPT é o primeiro método a gerar movimento humano por meio de sinais de controle multimodais, o que esperamos que possa lançar luz sobre essa nova direção. Os códigos serão liberados após a aceitação.

English

Generating realistic human motion from given action descriptions has experienced significant advancements because of the emerging requirement of digital humans. While recent works have achieved impressive results in generating motion directly from textual action descriptions, they often support only a single modality of the control signal, which limits their application in the real digital human industry. This paper presents a Motion General-Purpose generaTor (MotionGPT) that can use multimodal control signals, e.g., text and single-frame poses, for generating consecutive human motions by treating multimodal signals as special input tokens in large language models (LLMs). Specifically, we first quantize multimodal control signals into discrete codes and then formulate them in a unified prompt instruction to ask the LLMs to generate the motion answer. Our MotionGPT demonstrates a unified human motion generation model with multimodal control signals by tuning a mere 0.4% of LLM parameters. To the best of our knowledge, MotionGPT is the first method to generate human motion by multimodal control signals, which we hope can shed light on this new direction. Codes shall be released upon acceptance.