희소 입력 기반 물리학적 모션 리타겟팅

초록

아바타는 가상 세계에서 상호작용적이고 몰입적인 경험을 창출하는 데 중요합니다. 이러한 캐릭터를 사용자의 동작을 모방하도록 애니메이션화하는 데 있어 한 가지 도전 과제는 상용 AR/VR 제품이 헤드셋과 컨트롤러로만 구성되어 사용자의 자세에 대한 센서 데이터가 매우 제한적이라는 점입니다. 또 다른 도전 과제는 아바타가 인간과 다른 골격 구조를 가질 수 있으며, 이들 간의 매핑이 명확하지 않다는 점입니다. 본 연구에서는 이러한 두 가지 도전 과제를 모두 해결합니다. 우리는 희소한 인간 센서 데이터에서 다양한 형태의 캐릭터로 실시간으로 동작을 리타겟팅하는 방법을 소개합니다. 우리의 방법은 물리 시뮬레이터에서 캐릭터를 제어하기 위한 정책을 훈련하기 위해 강화 학습을 사용합니다. 우리는 각 아바타에 대해 아티스트가 생성한 애니메이션에 의존하지 않고, 훈련을 위해 인간 모션 캡처 데이터만을 요구합니다. 이를 통해 대규모 모션 캡처 데이터셋을 사용하여 실시간으로 실제 및 희소 데이터에서 보이지 않는 사용자를 추적할 수 있는 일반적인 정책을 훈련할 수 있습니다. 우리는 공룡, 생쥐 같은 생물, 인간 등 세 가지 다른 골격 구조를 가진 캐릭터에 대해 우리의 접근 방식의 타당성을 입증합니다. 우리는 하체에 대한 센서 정보가 없음에도 불구하고 아바타의 자세가 종종 사용자의 자세와 놀라울 정도로 잘 일치함을 보여줍니다. 우리는 우리의 프레임워크에서 중요한 구성 요소, 특히 운동학적 리타겟팅 단계, 모방, 접촉 및 행동 보상, 그리고 비대칭적인 액터-크리틱 관찰에 대해 논의하고 이를 제거해 봅니다. 우리는 또한 불균형, 춤, 스포츠 동작을 포함한 다양한 설정에서 우리의 방법의 견고성을 추가로 탐구합니다.

English

Avatars are important to create interactive and immersive experiences in virtual worlds. One challenge in animating these characters to mimic a user's motion is that commercial AR/VR products consist only of a headset and controllers, providing very limited sensor data of the user's pose. Another challenge is that an avatar might have a different skeleton structure than a human and the mapping between them is unclear. In this work we address both of these challenges. We introduce a method to retarget motions in real-time from sparse human sensor data to characters of various morphologies. Our method uses reinforcement learning to train a policy to control characters in a physics simulator. We only require human motion capture data for training, without relying on artist-generated animations for each avatar. This allows us to use large motion capture datasets to train general policies that can track unseen users from real and sparse data in real-time. We demonstrate the feasibility of our approach on three characters with different skeleton structure: a dinosaur, a mouse-like creature and a human. We show that the avatar poses often match the user surprisingly well, despite having no sensor information of the lower body available. We discuss and ablate the important components in our framework, specifically the kinematic retargeting step, the imitation, contact and action reward as well as our asymmetric actor-critic observations. We further explore the robustness of our method in a variety of settings including unbalancing, dancing and sports motions.

희소 입력 기반 물리학적 모션 리타겟팅

Physics-based Motion Retargeting from Sparse Inputs

초록

Support