Transfert de mouvement basé sur la physique à partir d'entrées éparses

Physics-based Motion Retargeting from Sparse Inputs

July 4, 2023

Auteurs: Daniele Reda, Jungdam Won, Yuting Ye, Michiel van de Panne, Alexander Winkler

cs.AI

Résumé

Les avatars sont essentiels pour créer des expériences interactives et immersives dans les mondes virtuels. Un défi dans l'animation de ces personnages pour imiter les mouvements d'un utilisateur est que les produits commerciaux de réalité augmentée (AR) et de réalité virtuelle (VR) se composent uniquement d'un casque et de manettes, fournissant des données de capteurs très limitées sur la posture de l'utilisateur. Un autre défi est qu'un avatar peut avoir une structure squelettique différente de celle d'un humain, et la correspondance entre les deux n'est pas claire. Dans ce travail, nous abordons ces deux défis. Nous introduisons une méthode pour retargetter les mouvements en temps réel à partir de données de capteurs humains éparses vers des personnages de morphologies variées. Notre méthode utilise l'apprentissage par renforcement pour entraîner une politique afin de contrôler les personnages dans un simulateur physique. Nous n'avons besoin que de données de capture de mouvement humain pour l'entraînement, sans dépendre d'animations générées par des artistes pour chaque avatar. Cela nous permet d'utiliser de grands ensembles de données de capture de mouvement pour entraîner des politiques générales capables de suivre des utilisateurs non vus à partir de données réelles et éparses en temps réel. Nous démontrons la faisabilité de notre approche sur trois personnages avec des structures squelettiques différentes : un dinosaure, une créature ressemblant à une souris et un humain. Nous montrons que les postures des avatars correspondent souvent étonnamment bien à celles de l'utilisateur, malgré l'absence d'informations de capteurs sur le bas du corps. Nous discutons et analysons les composants importants de notre cadre, notamment l'étape de retargetting cinématique, les récompenses d'imitation, de contact et d'action, ainsi que nos observations asymétriques acteur-critique. Nous explorons également la robustesse de notre méthode dans divers contextes, y compris les mouvements de déséquilibre, de danse et de sport.

English

Avatars are important to create interactive and immersive experiences in virtual worlds. One challenge in animating these characters to mimic a user's motion is that commercial AR/VR products consist only of a headset and controllers, providing very limited sensor data of the user's pose. Another challenge is that an avatar might have a different skeleton structure than a human and the mapping between them is unclear. In this work we address both of these challenges. We introduce a method to retarget motions in real-time from sparse human sensor data to characters of various morphologies. Our method uses reinforcement learning to train a policy to control characters in a physics simulator. We only require human motion capture data for training, without relying on artist-generated animations for each avatar. This allows us to use large motion capture datasets to train general policies that can track unseen users from real and sparse data in real-time. We demonstrate the feasibility of our approach on three characters with different skeleton structure: a dinosaur, a mouse-like creature and a human. We show that the avatar poses often match the user surprisingly well, despite having no sensor information of the lower body available. We discuss and ablate the important components in our framework, specifically the kinematic retargeting step, the imitation, contact and action reward as well as our asymmetric actor-critic observations. We further explore the robustness of our method in a variety of settings including unbalancing, dancing and sports motions.