가려진 모방: 마스크된 동작 보정을 통한 통합된 물리 기반 캐릭터 제어

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

September 22, 2024

저자: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng

cs.AI

초록

다양한 시나리오에서 상호 작용하는 캐릭터에 생명을 불어 넣을 수 있는 단일하고 다재다능한 물리학 기반 컨트롤러를 개발하는 것은 캐릭터 애니메이션 분야에서 흥미로운 새로운 영역을 제시한다. 이상적인 컨트롤러는 희소한 목표 키프레임, 텍스트 지시사항 및 장면 정보와 같은 다양한 제어 모달리티를 지원해야 한다. 이전 연구들은 물리적으로 시뮬레이션된 장면을 인식하는 제어 모델을 제안해왔지만, 이러한 시스템들은 주로 특정 작업 및 제어 모달리티에 특화된 컨트롤러를 개발하는 데 초점을 맞추었다. 본 연구는 일반적인 모션 인페인팅 문제로 물리학 기반 캐릭터 컨트롤을 제시하는 MaskedMimic을 제안한다. 핵심 아이디어는 마스크된 키프레임, 객체, 텍스트 설명 또는 이들의 조합과 같은 부분적인 (마스크된) 모션 설명으로부터 모션을 합성하기 위해 단일 통합 모델을 훈련시키는 것이다. 이는 모션 추적 데이터를 활용하고 다양한 모션 설명을 효과적으로 활용하여 일관된 애니메이션을 생성할 수 있는 확장 가능한 훈련 방법을 설계함으로써 달성된다. 이 과정을 통해 저희 방법은 관심 있는 모든 행동에 대해 지루한 보상 엔지니어링을 요구하지 않는 직관적인 제어 인터페이스를 제공하는 물리학 기반 컨트롤러를 학습한다. 결과적으로, 이 컨트롤러는 다양한 제어 모달리티를 지원하며 이질적인 작업 간의 원활한 전환을 가능하게 한다. 모션 인페인팅을 통해 캐릭터 컨트롤을 통합함으로써 MaskedMimic은 다재다능한 가상 캐릭터를 만들어낸다. 이러한 캐릭터들은 복잡한 장면에 동적으로 적응하고 요구에 따라 다양한 동작을 구성하여 더 많은 상호 작용 및 몰입형 경험을 가능하게 한다.

English

Crafting a single, versatile physics-based controller that can breathe life into interactive characters across a wide spectrum of scenarios represents an exciting frontier in character animation. An ideal controller should support diverse control modalities, such as sparse target keyframes, text instructions, and scene information. While previous works have proposed physically simulated, scene-aware control models, these systems have predominantly focused on developing controllers that each specializes in a narrow set of tasks and control modalities. This work presents MaskedMimic, a novel approach that formulates physics-based character control as a general motion inpainting problem. Our key insight is to train a single unified model to synthesize motions from partial (masked) motion descriptions, such as masked keyframes, objects, text descriptions, or any combination thereof. This is achieved by leveraging motion tracking data and designing a scalable training method that can effectively utilize diverse motion descriptions to produce coherent animations. Through this process, our approach learns a physics-based controller that provides an intuitive control interface without requiring tedious reward engineering for all behaviors of interest. The resulting controller supports a wide range of control modalities and enables seamless transitions between disparate tasks. By unifying character control through motion inpainting, MaskedMimic creates versatile virtual characters. These characters can dynamically adapt to complex scenes and compose diverse motions on demand, enabling more interactive and immersive experiences.