MotionGPT: Modelos de Lenguaje Ajustados como Generadores de Movimiento de Propósito General

MotionGPT: Finetuned LLMs are General-Purpose Motion Generators

June 19, 2023

Autores: Yaqi Zhang, Di Huang, Bin Liu, Shixiang Tang, Yan Lu, Lu Chen, Lei Bai, Qi Chu, Nenghai Yu, Wanli Ouyang

cs.AI

Resumen

La generación de movimientos humanos realistas a partir de descripciones de acciones dadas ha experimentado avances significativos debido a la creciente demanda de humanos digitales. Si bien trabajos recientes han logrado resultados impresionantes en la generación de movimientos directamente a partir de descripciones textuales de acciones, a menudo solo admiten una única modalidad de la señal de control, lo que limita su aplicación en la industria real de humanos digitales. Este artículo presenta un Generador de Movimiento de Propósito General (MotionGPT) que puede utilizar señales de control multimodales, por ejemplo, texto y poses de un solo fotograma, para generar movimientos humanos consecutivos al tratar las señales multimodales como tokens de entrada especiales en modelos de lenguaje de gran escala (LLMs). Específicamente, primero cuantizamos las señales de control multimodales en códigos discretos y luego las formulamos en una instrucción de prompt unificada para solicitar a los LLMs que generen la respuesta de movimiento. Nuestro MotionGPT demuestra un modelo unificado de generación de movimiento humano con señales de control multimodales al ajustar solo el 0.4% de los parámetros del LLM. Hasta donde sabemos, MotionGPT es el primer método en generar movimiento humano mediante señales de control multimodales, lo que esperamos pueda arrojar luz sobre esta nueva dirección. Los códigos se liberarán tras la aceptación.

English

Generating realistic human motion from given action descriptions has experienced significant advancements because of the emerging requirement of digital humans. While recent works have achieved impressive results in generating motion directly from textual action descriptions, they often support only a single modality of the control signal, which limits their application in the real digital human industry. This paper presents a Motion General-Purpose generaTor (MotionGPT) that can use multimodal control signals, e.g., text and single-frame poses, for generating consecutive human motions by treating multimodal signals as special input tokens in large language models (LLMs). Specifically, we first quantize multimodal control signals into discrete codes and then formulate them in a unified prompt instruction to ask the LLMs to generate the motion answer. Our MotionGPT demonstrates a unified human motion generation model with multimodal control signals by tuning a mere 0.4% of LLM parameters. To the best of our knowledge, MotionGPT is the first method to generate human motion by multimodal control signals, which we hope can shed light on this new direction. Codes shall be released upon acceptance.