Contrôle Perpétuel d’Humanoïdes pour Avatars Simulés en Temps Réel

Perpetual Humanoid Control for Real-time Simulated Avatars

May 10, 2023

Auteurs: Zhengyi Luo, Jinkun Cao, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Résumé

Nous présentons un contrôleur humanoïde basé sur la physique qui permet une imitation de mouvement de haute fidélité et un comportement tolérant aux défauts en présence d'entrées bruitées (par exemple, des estimations de pose à partir de vidéo ou générées à partir de langage) et de chutes inattendues. Notre contrôleur est capable de gérer jusqu'à dix mille clips de mouvement sans utiliser de forces stabilisatrices externes et apprend à se rétablir naturellement après un état d'échec. Étant donné un mouvement de référence, notre contrôleur peut contrôler de manière continue des avatars simulés sans nécessiter de réinitialisations. Au cœur de notre approche, nous proposons la politique de contrôle multiplicative progressive (PMCP), qui alloue dynamiquement de nouvelles capacités réseau pour apprendre des séquences de mouvements de plus en plus complexes. La PMCP permet une mise à l'échelle efficace pour l'apprentissage à partir de bases de données de mouvements à grande échelle et l'ajout de nouvelles tâches, telles que la récupération après un état d'échec, sans oubli catastrophique. Nous démontrons l'efficacité de notre contrôleur en l'utilisant pour imiter des poses bruitées provenant d'estimateurs de pose basés sur la vidéo et de générateurs de mouvements basés sur le langage dans un cas d'utilisation en temps réel et en direct impliquant plusieurs avatars.

English

We present a physics-based humanoid controller that achieves high-fidelity motion imitation and fault-tolerant behavior in the presence of noisy input (e.g. pose estimates from video or generated from language) and unexpected falls. Our controller scales up to learning ten thousand motion clips without using any external stabilizing forces and learns to naturally recover from fail-state. Given reference motion, our controller can perpetually control simulated avatars without requiring resets. At its core, we propose the progressive multiplicative control policy (PMCP), which dynamically allocates new network capacity to learn harder and harder motion sequences. PMCP allows efficient scaling for learning from large-scale motion databases and adding new tasks, such as fail-state recovery, without catastrophic forgetting. We demonstrate the effectiveness of our controller by using it to imitate noisy poses from video-based pose estimators and language-based motion generators in a live and real-time multi-person avatar use case.