MotionGPT: Modelli Linguistici Affinati sono Generatori di Movimento a Scopo Generale

MotionGPT: Finetuned LLMs are General-Purpose Motion Generators

June 19, 2023

Autori: Yaqi Zhang, Di Huang, Bin Liu, Shixiang Tang, Yan Lu, Lu Chen, Lei Bai, Qi Chu, Nenghai Yu, Wanli Ouyang

cs.AI

Abstract

La generazione di movimenti umani realistici a partire da descrizioni di azioni specifiche ha registrato progressi significativi grazie alla crescente richiesta di esseri umani digitali. Sebbene i lavori recenti abbiano ottenuto risultati impressionanti nella generazione di movimenti direttamente da descrizioni testuali delle azioni, spesso supportano solo una singola modalità del segnale di controllo, il che limita la loro applicazione nell'industria reale degli esseri umani digitali. Questo articolo presenta un generatore di movimenti a scopo generale (MotionGPT) in grado di utilizzare segnali di controllo multimodali, come testo e pose a singolo fotogramma, per generare movimenti umani consecutivi, trattando i segnali multimodali come token di input speciali nei modelli linguistici di grandi dimensioni (LLM). Nello specifico, prima quantizziamo i segnali di controllo multimodali in codici discreti e poi li formuliamo in un'istruzione di prompt unificata per chiedere agli LLM di generare la risposta in termini di movimento. Il nostro MotionGPT dimostra un modello unificato di generazione di movimenti umani con segnali di controllo multimodali, regolando solo lo 0,4% dei parametri dell'LLM. Per quanto ne sappiamo, MotionGPT è il primo metodo in grado di generare movimenti umani attraverso segnali di controllo multimodali, e speriamo che possa gettare luce su questa nuova direzione. I codici verranno rilasciati dopo l'accettazione.

English

Generating realistic human motion from given action descriptions has experienced significant advancements because of the emerging requirement of digital humans. While recent works have achieved impressive results in generating motion directly from textual action descriptions, they often support only a single modality of the control signal, which limits their application in the real digital human industry. This paper presents a Motion General-Purpose generaTor (MotionGPT) that can use multimodal control signals, e.g., text and single-frame poses, for generating consecutive human motions by treating multimodal signals as special input tokens in large language models (LLMs). Specifically, we first quantize multimodal control signals into discrete codes and then formulate them in a unified prompt instruction to ask the LLMs to generate the motion answer. Our MotionGPT demonstrates a unified human motion generation model with multimodal control signals by tuning a mere 0.4% of LLM parameters. To the best of our knowledge, MotionGPT is the first method to generate human motion by multimodal control signals, which we hope can shed light on this new direction. Codes shall be released upon acceptance.