MotionGPT: 人体モーションを外国語として扱う
MotionGPT: Human Motion as a Foreign Language
June 26, 2023
著者: Biao Jiang, Xin Chen, Wen Liu, Jingyi Yu, Gang Yu, Tao Chen
cs.AI
要旨
事前学習された大規模言語モデルの進展が進む中で、言語とモーションなどの他のマルチモーダルデータを統合したモデルを構築する探求は、依然として困難であり、これまで手つかずの領域となっています。幸いなことに、人間のモーションは人間の言語と類似した意味的結合を示し、しばしばボディランゲージの一形態として認識されます。言語データと大規模なモーションモデルを融合させることで、モーション関連タスクの性能を向上させることが可能なモーション言語事前学習が実現可能となります。この洞察に基づき、私たちはMotionGPTを提案します。これは、複数のモーション関連タスクを処理するための統合的で汎用的、かつユーザーフレンドリーなモーション言語モデルです。具体的には、人間のモーションに対して離散ベクトル量子化を適用し、3Dモーションをモーショントークンに変換します。これは、単語トークンの生成プロセスと類似しています。この「モーション語彙」を基盤として、モーションとテキストの両方に対して言語モデリングを統一的に行い、人間のモーションを特定の言語として扱います。さらに、プロンプト学習にインスパイアされ、MotionGPTをモーション言語データの混合で事前学習し、プロンプトベースの質問応答タスクでファインチューニングします。広範な実験により、MotionGPTがテキスト駆動モーション生成、モーションキャプショニング、モーション予測、モーション中間生成を含む複数のモーションタスクにおいて、最先端の性能を達成することが実証されています。
English
Though the advancement of pre-trained large language models unfolds, the
exploration of building a unified model for language and other multi-modal
data, such as motion, remains challenging and untouched so far. Fortunately,
human motion displays a semantic coupling akin to human language, often
perceived as a form of body language. By fusing language data with large-scale
motion models, motion-language pre-training that can enhance the performance of
motion-related tasks becomes feasible. Driven by this insight, we propose
MotionGPT, a unified, versatile, and user-friendly motion-language model to
handle multiple motion-relevant tasks. Specifically, we employ the discrete
vector quantization for human motion and transfer 3D motion into motion tokens,
similar to the generation process of word tokens. Building upon this "motion
vocabulary", we perform language modeling on both motion and text in a unified
manner, treating human motion as a specific language. Moreover, inspired by
prompt learning, we pre-train MotionGPT with a mixture of motion-language data
and fine-tune it on prompt-based question-and-answer tasks. Extensive
experiments demonstrate that MotionGPT achieves state-of-the-art performances
on multiple motion tasks including text-driven motion generation, motion
captioning, motion prediction, and motion in-between.