MotionGPT: Движение человека как иностранный язык

MotionGPT: Human Motion as a Foreign Language

June 26, 2023

Авторы: Biao Jiang, Xin Chen, Wen Liu, Jingyi Yu, Gang Yu, Tao Chen

cs.AI

Аннотация

Несмотря на прогресс в области предварительно обученных крупных языковых моделей, создание унифицированной модели для обработки языка и других мультимодальных данных, таких как движение, остается сложной и малоизученной задачей. К счастью, человеческое движение демонстрирует семантическую связь, схожую с человеческим языком, и часто воспринимается как форма языка тела. Объединяя языковые данные с крупномасштабными моделями движения, становится возможным предварительное обучение на основе движения и языка, что может повысить производительность в задачах, связанных с движением. Руководствуясь этим пониманием, мы предлагаем MotionGPT — унифицированную, универсальную и удобную модель для обработки движения и языка, способную решать множество задач, связанных с движением. В частности, мы используем дискретное векторное квантование для человеческого движения, преобразуя 3D-движение в токены движения, аналогично процессу генерации словесных токенов. На основе этого "словаря движения" мы выполняем языковое моделирование как для движения, так и для текста в унифицированной манере, рассматривая человеческое движение как особый язык. Более того, вдохновленные обучением с использованием промптов, мы предварительно обучаем MotionGPT на смеси данных о движении и языке, а затем дообучаем его на задачах, основанных на вопросах и ответах с использованием промптов. Многочисленные эксперименты демонстрируют, что MotionGPT достигает наилучших результатов в различных задачах, включая генерацию движения на основе текста, описание движения, предсказание движения и интерполяцию движения.

English

Though the advancement of pre-trained large language models unfolds, the exploration of building a unified model for language and other multi-modal data, such as motion, remains challenging and untouched so far. Fortunately, human motion displays a semantic coupling akin to human language, often perceived as a form of body language. By fusing language data with large-scale motion models, motion-language pre-training that can enhance the performance of motion-related tasks becomes feasible. Driven by this insight, we propose MotionGPT, a unified, versatile, and user-friendly motion-language model to handle multiple motion-relevant tasks. Specifically, we employ the discrete vector quantization for human motion and transfer 3D motion into motion tokens, similar to the generation process of word tokens. Building upon this "motion vocabulary", we perform language modeling on both motion and text in a unified manner, treating human motion as a specific language. Moreover, inspired by prompt learning, we pre-train MotionGPT with a mixture of motion-language data and fine-tune it on prompt-based question-and-answer tasks. Extensive experiments demonstrate that MotionGPT achieves state-of-the-art performances on multiple motion tasks including text-driven motion generation, motion captioning, motion prediction, and motion in-between.