Voortdurende Mensachtige Besturing voor Real-time Gesimuleerde Avatars

Perpetual Humanoid Control for Real-time Simulated Avatars

May 10, 2023

Auteurs: Zhengyi Luo, Jinkun Cao, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Samenvatting

We presenteren een op fysica gebaseerde humanoïde controller die hoogwaardige bewegingsimitatie en fouttolerante gedragingen bereikt in de aanwezigheid van ruwige invoer (bijvoorbeeld pose-schattingen uit video of gegenereerd uit taal) en onverwachte valpartijen. Onze controller schaalt op tot het leren van tienduizend bewegingsclips zonder gebruik te maken van externe stabiliserende krachten en leert om natuurlijk te herstellen van een fouttoestand. Gegeven een referentiebeweging, kan onze controller gesimuleerde avatars voortdurend besturen zonder dat resets nodig zijn. In de kern stellen we het progressieve multiplicatieve controlebeleid (PMCP) voor, dat dynamisch nieuwe netwerkcapaciteit toewijst om steeds moeilijkere bewegingssequenties te leren. PMCP maakt efficiënte schaalbaarheid mogelijk voor het leren van grootschalige bewegingsdatabases en het toevoegen van nieuwe taken, zoals herstel van fouttoestanden, zonder catastrofaal vergeten. We demonstreren de effectiviteit van onze controller door deze te gebruiken om ruwe poses te imiteren van op video gebaseerde pose-schatters en op taal gebaseerde bewegingsgeneratoren in een live en real-time multi-persoon avatar gebruiksscenario.

English

We present a physics-based humanoid controller that achieves high-fidelity motion imitation and fault-tolerant behavior in the presence of noisy input (e.g. pose estimates from video or generated from language) and unexpected falls. Our controller scales up to learning ten thousand motion clips without using any external stabilizing forces and learns to naturally recover from fail-state. Given reference motion, our controller can perpetually control simulated avatars without requiring resets. At its core, we propose the progressive multiplicative control policy (PMCP), which dynamically allocates new network capacity to learn harder and harder motion sequences. PMCP allows efficient scaling for learning from large-scale motion databases and adding new tasks, such as fail-state recovery, without catastrophic forgetting. We demonstrate the effectiveness of our controller by using it to imitate noisy poses from video-based pose estimators and language-based motion generators in a live and real-time multi-person avatar use case.