Physikbasierte Bewegungsumsetzung aus spärlichen Eingaben

Physics-based Motion Retargeting from Sparse Inputs

July 4, 2023

Autoren: Daniele Reda, Jungdam Won, Yuting Ye, Michiel van de Panne, Alexander Winkler

cs.AI

Zusammenfassung

Avatars sind entscheidend, um interaktive und immersive Erfahrungen in virtuellen Welten zu schaffen. Eine Herausforderung bei der Animation dieser Charaktere, um die Bewegungen eines Nutzers nachzuahmen, besteht darin, dass kommerzielle AR/VR-Produkte lediglich ein Headset und Controller umfassen und somit nur sehr begrenzte Sensordaten zur Pose des Nutzers liefern. Eine weitere Herausforderung ist, dass ein Avatar möglicherweise eine andere Skelettstruktur als ein Mensch aufweist und die Zuordnung zwischen ihnen unklar ist. In dieser Arbeit gehen wir auf beide Herausforderungen ein. Wir stellen eine Methode vor, um Bewegungen in Echtzeit von spärlichen menschlichen Sensordaten auf Charaktere verschiedener Morphologien zu übertragen. Unsere Methode nutzt Reinforcement Learning, um eine Strategie zu trainieren, die Charaktere in einem Physiksimulator steuert. Wir benötigen lediglich Motion-Capture-Daten von Menschen für das Training, ohne auf künstlerisch generierte Animationen für jeden Avatar angewiesen zu sein. Dies ermöglicht es uns, große Motion-Capture-Datensätze zu nutzen, um allgemeine Strategien zu trainieren, die unbekannte Nutzer aus realen und spärlichen Daten in Echtzeit verfolgen können. Wir demonstrieren die Machbarkeit unseres Ansatzes an drei Charakteren mit unterschiedlicher Skelettstruktur: einem Dinosaurier, einer mausähnlichen Kreatur und einem Menschen. Wir zeigen, dass die Posen des Avatars oft überraschend gut mit denen des Nutzers übereinstimmen, obwohl keine Sensordaten des Unterkörpers verfügbar sind. Wir diskutieren und analysieren die wichtigen Komponenten unseres Frameworks, insbesondere den kinematischen Retargeting-Schritt, die Imitation, Kontakt- und Aktionsbelohnungen sowie unsere asymmetrischen Actor-Critic-Beobachtungen. Darüber hinaus untersuchen wir die Robustheit unserer Methode in verschiedenen Szenarien, einschließlich unausgeglichenen, tanzenden und sportlichen Bewegungen.

English

Avatars are important to create interactive and immersive experiences in virtual worlds. One challenge in animating these characters to mimic a user's motion is that commercial AR/VR products consist only of a headset and controllers, providing very limited sensor data of the user's pose. Another challenge is that an avatar might have a different skeleton structure than a human and the mapping between them is unclear. In this work we address both of these challenges. We introduce a method to retarget motions in real-time from sparse human sensor data to characters of various morphologies. Our method uses reinforcement learning to train a policy to control characters in a physics simulator. We only require human motion capture data for training, without relying on artist-generated animations for each avatar. This allows us to use large motion capture datasets to train general policies that can track unseen users from real and sparse data in real-time. We demonstrate the feasibility of our approach on three characters with different skeleton structure: a dinosaur, a mouse-like creature and a human. We show that the avatar poses often match the user surprisingly well, despite having no sensor information of the lower body available. We discuss and ablate the important components in our framework, specifically the kinematic retargeting step, the imitation, contact and action reward as well as our asymmetric actor-critic observations. We further explore the robustness of our method in a variety of settings including unbalancing, dancing and sports motions.