MotionLCM: Генерация движения с возможностью реального времени управления с помощью модели согласованности латентных переменных

MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model

April 30, 2024

Авторы: Wenxun Dai, Ling-Hao Chen, Jingbo Wang, Jinpeng Liu, Bo Dai, Yansong Tang

cs.AI

Аннотация

Данная работа представляет MotionLCM, расширяя генерацию управляемого движения до уровня реального времени. Существующие методы пространственного управления в генерации движения на основе текста страдают от значительной неэффективности времени выполнения. Для решения этой проблемы мы предлагаем модель согласования латентного движения (MotionLCM) для генерации движения, основанную на модели латентного диффузии (MLD). Применяя одношаговый (или несколькими шагами) вывод, мы дополнительно улучшаем эффективность времени выполнения модели латентной диффузии движения для генерации движения. Для обеспечения эффективного управления мы внедряем сеть управления движением в латентное пространство MotionLCM и позволяем явным образом управлять сигналами управления (например, траекторией таза) в обычном пространстве движения для прямого контроля процесса генерации, аналогично управлению другими моделями диффузии без латентов для генерации движения. Применяя эти техники, наш подход может генерировать движения человека с текстом и сигналами управления в реальном времени. Экспериментальные результаты демонстрируют выдающиеся возможности генерации и управления MotionLCM, сохраняя при этом эффективность времени выполнения в реальном времени.

English

This work introduces MotionLCM, extending controllable motion generation to a real-time level. Existing methods for spatial control in text-conditioned motion generation suffer from significant runtime inefficiency. To address this issue, we first propose the motion latent consistency model (MotionLCM) for motion generation, building upon the latent diffusion model (MLD). By employing one-step (or few-step) inference, we further improve the runtime efficiency of the motion latent diffusion model for motion generation. To ensure effective controllability, we incorporate a motion ControlNet within the latent space of MotionLCM and enable explicit control signals (e.g., pelvis trajectory) in the vanilla motion space to control the generation process directly, similar to controlling other latent-free diffusion models for motion generation. By employing these techniques, our approach can generate human motions with text and control signals in real-time. Experimental results demonstrate the remarkable generation and controlling capabilities of MotionLCM while maintaining real-time runtime efficiency.