Retargeting del Movimento Basato sulla Fisica da Input Sparse

Physics-based Motion Retargeting from Sparse Inputs

July 4, 2023

Autori: Daniele Reda, Jungdam Won, Yuting Ye, Michiel van de Panne, Alexander Winkler

cs.AI

Abstract

Gli avatar sono fondamentali per creare esperienze interattive e immersive nei mondi virtuali. Una delle sfide nell'animare questi personaggi per imitare i movimenti di un utente è che i prodotti commerciali AR/VR sono composti solo da un visore e dei controller, fornendo dati sensoriali molto limitati sulla postura dell'utente. Un'altra sfida è che un avatar potrebbe avere una struttura scheletrica diversa da quella umana e la mappatura tra le due non è chiara. In questo lavoro affrontiamo entrambe queste sfide. Introduciamo un metodo per riorientare i movimenti in tempo reale da dati sensoriali umani sparsi a personaggi di varie morfologie. Il nostro metodo utilizza l'apprendimento per rinforzo per addestrare una politica che controlla i personaggi in un simulatore fisico. Richiediamo solo dati di motion capture umani per l'addestramento, senza fare affidamento su animazioni generate da artisti per ogni avatar. Ciò ci consente di utilizzare grandi dataset di motion capture per addestrare politiche generali in grado di seguire utenti non visti da dati reali e sparsi in tempo reale. Dimostriamo la fattibilità del nostro approccio su tre personaggi con diverse strutture scheletriche: un dinosauro, una creatura simile a un topo e un umano. Mostriamo che le pose degli avatar spesso corrispondono sorprendentemente bene a quelle dell'utente, nonostante non siano disponibili informazioni sensoriali sulla parte inferiore del corpo. Discutiamo e analizziamo i componenti importanti del nostro framework, in particolare il passaggio di riorientamento cinematico, la ricompensa per l'imitazione, il contatto e l'azione, nonché le nostre osservazioni asimmetriche attore-critico. Esploriamo ulteriormente la robustezza del nostro metodo in una varietà di contesti, tra cui movimenti di squilibrio, danza e sport.

English

Avatars are important to create interactive and immersive experiences in virtual worlds. One challenge in animating these characters to mimic a user's motion is that commercial AR/VR products consist only of a headset and controllers, providing very limited sensor data of the user's pose. Another challenge is that an avatar might have a different skeleton structure than a human and the mapping between them is unclear. In this work we address both of these challenges. We introduce a method to retarget motions in real-time from sparse human sensor data to characters of various morphologies. Our method uses reinforcement learning to train a policy to control characters in a physics simulator. We only require human motion capture data for training, without relying on artist-generated animations for each avatar. This allows us to use large motion capture datasets to train general policies that can track unseen users from real and sparse data in real-time. We demonstrate the feasibility of our approach on three characters with different skeleton structure: a dinosaur, a mouse-like creature and a human. We show that the avatar poses often match the user surprisingly well, despite having no sensor information of the lower body available. We discuss and ablate the important components in our framework, specifically the kinematic retargeting step, the imitation, contact and action reward as well as our asymmetric actor-critic observations. We further explore the robustness of our method in a variety of settings including unbalancing, dancing and sports motions.