MotionGPT: Feinabgestimmte LLMs sind universelle Bewegungsgeneratoren

MotionGPT: Finetuned LLMs are General-Purpose Motion Generators

June 19, 2023

Autoren: Yaqi Zhang, Di Huang, Bin Liu, Shixiang Tang, Yan Lu, Lu Chen, Lei Bai, Qi Chu, Nenghai Yu, Wanli Ouyang

cs.AI

Zusammenfassung

Die Erzeugung realistischer menschlicher Bewegungen aus gegebenen Aktionsbeschreibungen hat aufgrund der wachsenden Anforderungen an digitale Menschen erhebliche Fortschritte erzielt. Während neuere Arbeiten beeindruckende Ergebnisse bei der direkten Generierung von Bewegungen aus textuellen Aktionsbeschreibungen erzielt haben, unterstützen sie oft nur eine einzige Modalität des Steuersignals, was ihre Anwendung in der realen digitalen Menschindustrie einschränkt. Dieses Papier stellt einen Motion General-Purpose Generator (MotionGPT) vor, der multimodale Steuersignale, z. B. Text und Einzelbild-Posen, zur Erzeugung aufeinanderfolgender menschlicher Bewegungen verwenden kann, indem multimodale Signale als spezielle Eingabetokens in großen Sprachmodellen (LLMs) behandelt werden. Konkret quantisieren wir zunächst multimodale Steuersignale in diskrete Codes und formulieren sie dann in einer einheitlichen Prompt-Anweisung, um die LLMs zu bitten, die Bewegungsantwort zu generieren. Unser MotionGPT demonstriert ein einheitliches Modell zur Erzeugung menschlicher Bewegungen mit multimodalen Steuersignalen, indem lediglich 0,4 % der LLM-Parameter angepasst werden. Nach unserem besten Wissen ist MotionGPT die erste Methode, die menschliche Bewegungen durch multimodale Steuersignale erzeugt, und wir hoffen, dass dies neue Impulse in dieser Richtung geben kann. Die Codes werden nach der Annahme veröffentlicht.

English

Generating realistic human motion from given action descriptions has experienced significant advancements because of the emerging requirement of digital humans. While recent works have achieved impressive results in generating motion directly from textual action descriptions, they often support only a single modality of the control signal, which limits their application in the real digital human industry. This paper presents a Motion General-Purpose generaTor (MotionGPT) that can use multimodal control signals, e.g., text and single-frame poses, for generating consecutive human motions by treating multimodal signals as special input tokens in large language models (LLMs). Specifically, we first quantize multimodal control signals into discrete codes and then formulate them in a unified prompt instruction to ask the LLMs to generate the motion answer. Our MotionGPT demonstrates a unified human motion generation model with multimodal control signals by tuning a mere 0.4% of LLM parameters. To the best of our knowledge, MotionGPT is the first method to generate human motion by multimodal control signals, which we hope can shed light on this new direction. Codes shall be released upon acceptance.