MotionLCM: Geração de Movimento Controlável em Tempo Real via Modelo de Consistência Latente

MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model

April 30, 2024

Autores: Wenxun Dai, Ling-Hao Chen, Jingbo Wang, Jinpeng Liu, Bo Dai, Yansong Tang

cs.AI

Resumo

Este trabalho apresenta o MotionLCM, estendendo a geração controlável de movimentos para um nível em tempo real. Os métodos existentes para controle espacial na geração de movimentos condicionados por texto sofrem com ineficiência significativa no tempo de execução. Para resolver esse problema, propomos primeiro o modelo de consistência latente de movimento (MotionLCM) para geração de movimentos, baseado no modelo de difusão latente (MLD). Ao empregar inferência em uma etapa (ou poucas etapas), melhoramos ainda mais a eficiência de tempo de execução do modelo de difusão latente de movimento para geração de movimentos. Para garantir uma controlabilidade eficaz, incorporamos um ControlNet de movimento no espaço latente do MotionLCM e habilitamos sinais de controle explícitos (por exemplo, trajetória da pelve) no espaço de movimento padrão para controlar diretamente o processo de geração, semelhante ao controle de outros modelos de difusão sem latência para geração de movimentos. Ao empregar essas técnicas, nossa abordagem pode gerar movimentos humanos com texto e sinais de controle em tempo real. Os resultados experimentais demonstram as notáveis capacidades de geração e controle do MotionLCM, mantendo a eficiência de tempo de execução em tempo real.

English

This work introduces MotionLCM, extending controllable motion generation to a real-time level. Existing methods for spatial control in text-conditioned motion generation suffer from significant runtime inefficiency. To address this issue, we first propose the motion latent consistency model (MotionLCM) for motion generation, building upon the latent diffusion model (MLD). By employing one-step (or few-step) inference, we further improve the runtime efficiency of the motion latent diffusion model for motion generation. To ensure effective controllability, we incorporate a motion ControlNet within the latent space of MotionLCM and enable explicit control signals (e.g., pelvis trajectory) in the vanilla motion space to control the generation process directly, similar to controlling other latent-free diffusion models for motion generation. By employing these techniques, our approach can generate human motions with text and control signals in real-time. Experimental results demonstrate the remarkable generation and controlling capabilities of MotionLCM while maintaining real-time runtime efficiency.