Physics-gebaseerde Motion Retargeting vanuit Sparse Inputs

Physics-based Motion Retargeting from Sparse Inputs

July 4, 2023

Auteurs: Daniele Reda, Jungdam Won, Yuting Ye, Michiel van de Panne, Alexander Winkler

cs.AI

Samenvatting

Avatars zijn belangrijk voor het creëren van interactieve en meeslepende ervaringen in virtuele werelden. Een uitdaging bij het animeren van deze personages om de bewegingen van een gebruiker na te bootsen, is dat commerciële AR/VR-producten alleen bestaan uit een headset en controllers, wat zeer beperkte sensordata over de houding van de gebruiker oplevert. Een andere uitdaging is dat een avatar mogelijk een ander skeletstructuur heeft dan een mens en de mapping tussen hen onduidelijk is. In dit werk gaan we beide uitdagingen aan. We introduceren een methode om bewegingen in real-time te retargeten van schaarse menselijke sensordata naar personages met verschillende morfologieën. Onze methode gebruikt reinforcement learning om een beleid te trainen dat personages bestuurt in een fysicasimulator. We hebben alleen menselijke motion capture-data nodig voor de training, zonder afhankelijk te zijn van door artiesten gegenereerde animaties voor elke avatar. Hierdoor kunnen we grote motion capture-datasets gebruiken om algemene beleidsregels te trainen die ongeziene gebruikers kunnen volgen op basis van echte en schaarse data in real-time. We demonstreren de haalbaarheid van onze aanpak op drie personages met verschillende skeletstructuren: een dinosaurus, een muisachtig wezen en een mens. We laten zien dat de houdingen van de avatar vaak verrassend goed overeenkomen met die van de gebruiker, ondanks het ontbreken van sensorinformatie over het onderlichaam. We bespreken en analyseren de belangrijke componenten in ons framework, specifiek de kinematische retargeting-stap, de imitatie-, contact- en actiebeloning, evenals onze asymmetrische actor-critic observaties. We onderzoeken verder de robuustheid van onze methode in verschillende situaties, waaronder uit balans raken, dansen en sportbewegingen.

English

Avatars are important to create interactive and immersive experiences in virtual worlds. One challenge in animating these characters to mimic a user's motion is that commercial AR/VR products consist only of a headset and controllers, providing very limited sensor data of the user's pose. Another challenge is that an avatar might have a different skeleton structure than a human and the mapping between them is unclear. In this work we address both of these challenges. We introduce a method to retarget motions in real-time from sparse human sensor data to characters of various morphologies. Our method uses reinforcement learning to train a policy to control characters in a physics simulator. We only require human motion capture data for training, without relying on artist-generated animations for each avatar. This allows us to use large motion capture datasets to train general policies that can track unseen users from real and sparse data in real-time. We demonstrate the feasibility of our approach on three characters with different skeleton structure: a dinosaur, a mouse-like creature and a human. We show that the avatar poses often match the user surprisingly well, despite having no sensor information of the lower body available. We discuss and ablate the important components in our framework, specifically the kinematic retargeting step, the imitation, contact and action reward as well as our asymmetric actor-critic observations. We further explore the robustness of our method in a variety of settings including unbalancing, dancing and sports motions.