Retargeting de Movimento Baseado em Física a partir de Entradas Esparsas

Physics-based Motion Retargeting from Sparse Inputs

July 4, 2023

Autores: Daniele Reda, Jungdam Won, Yuting Ye, Michiel van de Panne, Alexander Winkler

cs.AI

Resumo

Os avatares são importantes para criar experiências interativas e imersivas em mundos virtuais. Um dos desafios na animação desses personagens para imitar os movimentos de um usuário é que os produtos comerciais de AR/VR consistem apenas em um headset e controles, fornecendo dados de sensores muito limitados sobre a postura do usuário. Outro desafio é que um avatar pode ter uma estrutura esquelética diferente da de um humano, e o mapeamento entre eles não é claro. Neste trabalho, abordamos ambos os desafios. Introduzimos um método para redirecionar movimentos em tempo real a partir de dados esparsos de sensores humanos para personagens de várias morfologias. Nosso método utiliza aprendizado por reforço para treinar uma política que controla os personagens em um simulador de física. Exigimos apenas dados de captura de movimento humano para o treinamento, sem depender de animações geradas por artistas para cada avatar. Isso nos permite usar grandes conjuntos de dados de captura de movimento para treinar políticas gerais que podem rastrear usuários não vistos a partir de dados reais e esparsos em tempo real. Demonstramos a viabilidade de nossa abordagem em três personagens com estruturas esqueléticas diferentes: um dinossauro, uma criatura semelhante a um rato e um humano. Mostramos que as posturas dos avatares frequentemente correspondem surpreendentemente bem às do usuário, apesar de não haver informações de sensores disponíveis sobre a parte inferior do corpo. Discutimos e analisamos os componentes importantes de nossa estrutura, especificamente a etapa de redirecionamento cinemático, a imitação, as recompensas de contato e ação, bem como nossas observações assimétricas de ator-crítico. Exploramos ainda a robustez de nosso método em uma variedade de cenários, incluindo movimentos de desequilíbrio, dança e esportes.

English

Avatars are important to create interactive and immersive experiences in virtual worlds. One challenge in animating these characters to mimic a user's motion is that commercial AR/VR products consist only of a headset and controllers, providing very limited sensor data of the user's pose. Another challenge is that an avatar might have a different skeleton structure than a human and the mapping between them is unclear. In this work we address both of these challenges. We introduce a method to retarget motions in real-time from sparse human sensor data to characters of various morphologies. Our method uses reinforcement learning to train a policy to control characters in a physics simulator. We only require human motion capture data for training, without relying on artist-generated animations for each avatar. This allows us to use large motion capture datasets to train general policies that can track unseen users from real and sparse data in real-time. We demonstrate the feasibility of our approach on three characters with different skeleton structure: a dinosaur, a mouse-like creature and a human. We show that the avatar poses often match the user surprisingly well, despite having no sensor information of the lower body available. We discuss and ablate the important components in our framework, specifically the kinematic retargeting step, the imitation, contact and action reward as well as our asymmetric actor-critic observations. We further explore the robustness of our method in a variety of settings including unbalancing, dancing and sports motions.