Ewige humanoide Steuerung für Echtzeit-simulierte Avatare

Perpetual Humanoid Control for Real-time Simulated Avatars

May 10, 2023

Autoren: Zhengyi Luo, Jinkun Cao, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Zusammenfassung

Wir präsentieren einen physikbasierten Humanoid-Controller, der hochpräzise Bewegungsimitation und fehlertolerantes Verhalten in Gegenwart von verrauschten Eingaben (z. B. Pose-Schätzungen aus Videos oder aus Sprache generierte Daten) und unerwarteten Stürzen erreicht. Unser Controller skaliert bis zum Erlernen von zehntausend Bewegungsclips, ohne externe stabilisierende Kräfte zu verwenden, und lernt, sich natürlich aus Fehlerzuständen zu erholen. Bei gegebener Referenzbewegung kann unser Controller simulierte Avatare kontinuierlich steuern, ohne dass Resets erforderlich sind. Im Kern schlagen wir die progressive multiplikative Kontrollpolitik (PMCP) vor, die dynamisch neue Netzwerkkapazitäten zuweist, um immer schwierigere Bewegungssequenzen zu erlernen. PMCP ermöglicht eine effiziente Skalierung für das Lernen aus groß angelegten Bewegungsdatenbanken und das Hinzufügen neuer Aufgaben, wie z. B. die Wiederherstellung aus Fehlerzuständen, ohne katastrophales Vergessen. Wir demonstrieren die Wirksamkeit unseres Controllers, indem wir ihn verwenden, um verrauschte Posen aus videobasierten Pose-Schätzern und sprachbasierten Bewegungsgeneratoren in einem Live- und Echtzeit-Multi-Person-Avatar-Anwendungsfall zu imitieren.

English

We present a physics-based humanoid controller that achieves high-fidelity motion imitation and fault-tolerant behavior in the presence of noisy input (e.g. pose estimates from video or generated from language) and unexpected falls. Our controller scales up to learning ten thousand motion clips without using any external stabilizing forces and learns to naturally recover from fail-state. Given reference motion, our controller can perpetually control simulated avatars without requiring resets. At its core, we propose the progressive multiplicative control policy (PMCP), which dynamically allocates new network capacity to learn harder and harder motion sequences. PMCP allows efficient scaling for learning from large-scale motion databases and adding new tasks, such as fail-state recovery, without catastrophic forgetting. We demonstrate the effectiveness of our controller by using it to imitate noisy poses from video-based pose estimators and language-based motion generators in a live and real-time multi-person avatar use case.