MotionGPT: Gefinetunede LLM's zijn Algemene Bewegingsgeneratoren

MotionGPT: Finetuned LLMs are General-Purpose Motion Generators

June 19, 2023

Auteurs: Yaqi Zhang, Di Huang, Bin Liu, Shixiang Tang, Yan Lu, Lu Chen, Lei Bai, Qi Chu, Nenghai Yu, Wanli Ouyang

cs.AI

Samenvatting

Het genereren van realistische menselijke bewegingen op basis van gegeven actiebeschrijvingen heeft aanzienlijke vooruitgang geboekt vanwege de groeiende behoefte aan digitale mensen. Hoewel recente werken indrukwekkende resultaten hebben behaald in het direct genereren van bewegingen uit tekstuele actiebeschrijvingen, ondersteunen ze vaak slechts één modaliteit van het controlesignaal, wat hun toepassing in de echte digitale mensindustrie beperkt. Dit artikel presenteert een Motion General-Purpose generaTor (MotionGPT) die multimodale controlesignalen, zoals tekst en enkelvoudige frame-poses, kan gebruiken voor het genereren van opeenvolgende menselijke bewegingen door multimodale signalen te behandelen als speciale invoertokens in grote taalmodelen (LLM's). Specifiek kwantiseren we eerst multimodale controlesignalen in discrete codes en formuleren we deze vervolgens in een uniforme promptinstructie om de LLM's te vragen het bewegingsantwoord te genereren. Onze MotionGPT demonstreert een uniform model voor het genereren van menselijke bewegingen met multimodale controlesignalen door slechts 0,4% van de LLM-parameters af te stemmen. Voor zover wij weten, is MotionGPT de eerste methode om menselijke beweging te genereren met multimodale controlesignalen, wat we hopen dat licht kan werpen op deze nieuwe richting. Codes zullen worden vrijgegeven na acceptatie.

English

Generating realistic human motion from given action descriptions has experienced significant advancements because of the emerging requirement of digital humans. While recent works have achieved impressive results in generating motion directly from textual action descriptions, they often support only a single modality of the control signal, which limits their application in the real digital human industry. This paper presents a Motion General-Purpose generaTor (MotionGPT) that can use multimodal control signals, e.g., text and single-frame poses, for generating consecutive human motions by treating multimodal signals as special input tokens in large language models (LLMs). Specifically, we first quantize multimodal control signals into discrete codes and then formulate them in a unified prompt instruction to ask the LLMs to generate the motion answer. Our MotionGPT demonstrates a unified human motion generation model with multimodal control signals by tuning a mere 0.4% of LLM parameters. To the best of our knowledge, MotionGPT is the first method to generate human motion by multimodal control signals, which we hope can shed light on this new direction. Codes shall be released upon acceptance.