MotionGPT: Тонко настроенные языковые модели как универсальные генераторы движения
MotionGPT: Finetuned LLMs are General-Purpose Motion Generators
June 19, 2023
Авторы: Yaqi Zhang, Di Huang, Bin Liu, Shixiang Tang, Yan Lu, Lu Chen, Lei Bai, Qi Chu, Nenghai Yu, Wanli Ouyang
cs.AI
Аннотация
Создание реалистичных движений человека на основе заданных описаний действий достигло значительных успехов благодаря растущим требованиям к цифровым людям. Хотя последние работы демонстрируют впечатляющие результаты в генерации движений непосредственно из текстовых описаний действий, они часто поддерживают только один тип управляющего сигнала, что ограничивает их применение в реальной индустрии цифровых людей. В данной статье представлен универсальный генератор движений (MotionGPT), который может использовать мультимодальные управляющие сигналы, такие как текст и позы из одного кадра, для создания последовательных движений человека, рассматривая мультимодальные сигналы как специальные входные токены в больших языковых моделях (LLM). В частности, мы сначала квантуем мультимодальные управляющие сигналы в дискретные коды, а затем формулируем их в единой инструкции-запросе, чтобы LLM сгенерировала ответ в виде движения. Наш MotionGPT демонстрирует унифицированную модель генерации движений человека с мультимодальными управляющими сигналами, настраивая всего 0,4% параметров LLM. Насколько нам известно, MotionGPT является первым методом, который генерирует движения человека с использованием мультимодальных управляющих сигналов, что, как мы надеемся, может открыть новые перспективы в этой области. Код будет опубликован после принятия статьи.
English
Generating realistic human motion from given action descriptions has
experienced significant advancements because of the emerging requirement of
digital humans. While recent works have achieved impressive results in
generating motion directly from textual action descriptions, they often support
only a single modality of the control signal, which limits their application in
the real digital human industry. This paper presents a Motion General-Purpose
generaTor (MotionGPT) that can use multimodal control signals, e.g., text and
single-frame poses, for generating consecutive human motions by treating
multimodal signals as special input tokens in large language models (LLMs).
Specifically, we first quantize multimodal control signals into discrete codes
and then formulate them in a unified prompt instruction to ask the LLMs to
generate the motion answer. Our MotionGPT demonstrates a unified human motion
generation model with multimodal control signals by tuning a mere 0.4% of LLM
parameters. To the best of our knowledge, MotionGPT is the first method to
generate human motion by multimodal control signals, which we hope can shed
light on this new direction. Codes shall be released upon acceptance.