MotionLCM: 잠재 일관성 모델을 통한 실시간 제어 가능한 모션 생성

MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model

April 30, 2024

저자: Wenxun Dai, Ling-Hao Chen, Jingbo Wang, Jinpeng Liu, Bo Dai, Yansong Tang

cs.AI

초록

본 연구는 MotionLCM을 소개하며, 제어 가능한 모션 생성(motion generation)을 실시간 수준으로 확장합니다. 텍스트 조건부 모션 생성에서 공간적 제어를 위한 기존 방법들은 상당한 런타임 비효율성을 겪고 있습니다. 이 문제를 해결하기 위해, 우리는 먼저 잠재 확산 모델(Latent Diffusion Model, MLD)을 기반으로 모션 생성용 모션 잠재 일관성 모델(Motion Latent Consistency Model, MotionLCM)을 제안합니다. 1단계(또는 소수 단계) 추론을 사용함으로써, 모션 잠재 확산 모델의 런타임 효율성을 더욱 개선합니다. 효과적인 제어 가능성을 보장하기 위해, MotionLCM의 잠재 공간 내에 모션 ControlNet을 통합하고, 일반 모션 공간에서의 명시적 제어 신호(예: 골반 궤적)를 사용하여 생성 과정을 직접 제어할 수 있도록 합니다. 이는 다른 잠재 없는 확산 모델을 제어하는 방식과 유사합니다. 이러한 기술을 활용함으로써, 우리의 접근 방식은 텍스트와 제어 신호를 사용하여 실시간으로 인간 모션을 생성할 수 있습니다. 실험 결과는 MotionLCM의 뛰어난 생성 및 제어 능력과 함께 실시간 런타임 효율성을 유지함을 입증합니다.

English

This work introduces MotionLCM, extending controllable motion generation to a real-time level. Existing methods for spatial control in text-conditioned motion generation suffer from significant runtime inefficiency. To address this issue, we first propose the motion latent consistency model (MotionLCM) for motion generation, building upon the latent diffusion model (MLD). By employing one-step (or few-step) inference, we further improve the runtime efficiency of the motion latent diffusion model for motion generation. To ensure effective controllability, we incorporate a motion ControlNet within the latent space of MotionLCM and enable explicit control signals (e.g., pelvis trajectory) in the vanilla motion space to control the generation process directly, similar to controlling other latent-free diffusion models for motion generation. By employing these techniques, our approach can generate human motions with text and control signals in real-time. Experimental results demonstrate the remarkable generation and controlling capabilities of MotionLCM while maintaining real-time runtime efficiency.