MotionGPT: Menselijke Beweging als een Vreemde Taal

MotionGPT: Human Motion as a Foreign Language

June 26, 2023

Auteurs: Biao Jiang, Xin Chen, Wen Liu, Jingyi Yu, Gang Yu, Tao Chen

cs.AI

Samenvatting

Hoewel de vooruitgang van vooraf getrainde grote taalmodellen zich ontvouwt, blijft de verkenning van het bouwen van een uniform model voor taal en andere multimodale gegevens, zoals beweging, tot nu toe uitdagend en onontgonnen. Gelukkig vertoont menselijke beweging een semantische koppeling die vergelijkbaar is met menselijke taal, vaak gezien als een vorm van lichaamstaal. Door taalgegevens te combineren met grootschalige bewegingsmodellen, wordt motion-language pre-training die de prestaties van bewegingsgerelateerde taken kan verbeteren, haalbaar. Gedreven door dit inzicht stellen we MotionGPT voor, een uniform, veelzijdig en gebruiksvriendelijk motion-language model om meerdere bewegingsrelevante taken te behandelen. Specifiek gebruiken we discrete vectorquantisatie voor menselijke beweging en zetten we 3D-beweging om in bewegings-tokens, vergelijkbaar met het generatieproces van woord-tokens. Op basis van deze "bewegingswoordenschat" voeren we taalmodellering uit op zowel beweging als tekst op een uniforme manier, waarbij menselijke beweging wordt behandeld als een specifieke taal. Bovendien, geïnspireerd door prompt learning, pre-trainen we MotionGPT met een mix van motion-language gegevens en fine-tunen we het op prompt-gebaseerde vraag-en-antwoordtaken. Uitgebreide experimenten tonen aan dat MotionGPT state-of-the-art prestaties behaalt op meerdere bewegingsgerelateerde taken, waaronder tekstgestuurde bewegingsgeneratie, bewegingsbeschrijving, bewegingsvoorspelling en bewegingsinterpolatie.

English

Though the advancement of pre-trained large language models unfolds, the exploration of building a unified model for language and other multi-modal data, such as motion, remains challenging and untouched so far. Fortunately, human motion displays a semantic coupling akin to human language, often perceived as a form of body language. By fusing language data with large-scale motion models, motion-language pre-training that can enhance the performance of motion-related tasks becomes feasible. Driven by this insight, we propose MotionGPT, a unified, versatile, and user-friendly motion-language model to handle multiple motion-relevant tasks. Specifically, we employ the discrete vector quantization for human motion and transfer 3D motion into motion tokens, similar to the generation process of word tokens. Building upon this "motion vocabulary", we perform language modeling on both motion and text in a unified manner, treating human motion as a specific language. Moreover, inspired by prompt learning, we pre-train MotionGPT with a mixture of motion-language data and fine-tune it on prompt-based question-and-answer tasks. Extensive experiments demonstrate that MotionGPT achieves state-of-the-art performances on multiple motion tasks including text-driven motion generation, motion captioning, motion prediction, and motion in-between.