Retargeting de Movimiento Basado en Física a partir de Entradas Escasas

Physics-based Motion Retargeting from Sparse Inputs

July 4, 2023

Autores: Daniele Reda, Jungdam Won, Yuting Ye, Michiel van de Panne, Alexander Winkler

cs.AI

Resumen

Los avatares son importantes para crear experiencias interactivas e inmersivas en mundos virtuales. Uno de los desafíos al animar estos personajes para imitar los movimientos de un usuario es que los productos comerciales de AR/VR consisten únicamente en un visor y controladores, proporcionando datos de sensores muy limitados sobre la postura del usuario. Otro desafío es que un avatar puede tener una estructura esquelética diferente a la de un humano, y la correspondencia entre ambas no está clara. En este trabajo abordamos ambos desafíos. Introducimos un método para retargetear movimientos en tiempo real a partir de datos de sensores humanos escasos hacia personajes de diversas morfologías. Nuestro método utiliza aprendizaje por refuerzo para entrenar una política que controle a los personajes en un simulador de física. Solo requerimos datos de captura de movimiento humano para el entrenamiento, sin depender de animaciones generadas por artistas para cada avatar. Esto nos permite utilizar grandes conjuntos de datos de captura de movimiento para entrenar políticas generales que puedan seguir a usuarios no vistos a partir de datos reales y escasos en tiempo real. Demostramos la viabilidad de nuestro enfoque en tres personajes con estructuras esqueléticas diferentes: un dinosaurio, una criatura similar a un ratón y un humano. Mostramos que las posturas de los avatares a menudo coinciden sorprendentemente bien con las del usuario, a pesar de no contar con información de sensores de la parte inferior del cuerpo. Discutimos y analizamos los componentes importantes de nuestro marco de trabajo, específicamente el paso de retargeting cinemático, la imitación, las recompensas de contacto y acción, así como nuestras observaciones asimétricas de actor-crítico. Además, exploramos la robustez de nuestro método en una variedad de escenarios, incluyendo movimientos de desequilibrio, baile y deportes.

English

Avatars are important to create interactive and immersive experiences in virtual worlds. One challenge in animating these characters to mimic a user's motion is that commercial AR/VR products consist only of a headset and controllers, providing very limited sensor data of the user's pose. Another challenge is that an avatar might have a different skeleton structure than a human and the mapping between them is unclear. In this work we address both of these challenges. We introduce a method to retarget motions in real-time from sparse human sensor data to characters of various morphologies. Our method uses reinforcement learning to train a policy to control characters in a physics simulator. We only require human motion capture data for training, without relying on artist-generated animations for each avatar. This allows us to use large motion capture datasets to train general policies that can track unseen users from real and sparse data in real-time. We demonstrate the feasibility of our approach on three characters with different skeleton structure: a dinosaur, a mouse-like creature and a human. We show that the avatar poses often match the user surprisingly well, despite having no sensor information of the lower body available. We discuss and ablate the important components in our framework, specifically the kinematic retargeting step, the imitation, contact and action reward as well as our asymmetric actor-critic observations. We further explore the robustness of our method in a variety of settings including unbalancing, dancing and sports motions.