Controllo Perpetuo di Umanoidi per Avatar Simulati in Tempo Reale

Perpetual Humanoid Control for Real-time Simulated Avatars

May 10, 2023

Autori: Zhengyi Luo, Jinkun Cao, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Abstract

Presentiamo un controller umanoide basato sulla fisica che raggiunge un'elevata fedeltà nell'imitazione del movimento e un comportamento tollerante ai guasti in presenza di input rumorosi (ad esempio, stime di posa da video o generate da linguaggio) e cadute impreviste. Il nostro controller è in grado di scalare fino all'apprendimento di diecimila clip di movimento senza utilizzare forze stabilizzanti esterne e impara a riprendersi naturalmente da stati di fallimento. Dato un movimento di riferimento, il nostro controller può controllare in modo perpetuo avatar simulati senza richiedere reset. Alla base, proponiamo la politica di controllo moltiplicativa progressiva (PMCP), che assegna dinamicamente nuova capacità di rete per apprendere sequenze di movimento sempre più complesse. PMCP consente una scalabilità efficiente per l'apprendimento da database di movimento su larga scala e l'aggiunta di nuovi compiti, come il recupero da stati di fallimento, senza dimenticanza catastrofica. Dimostriamo l'efficacia del nostro controller utilizzandolo per imitare pose rumorose da stimatori di posa basati su video e generatori di movimento basati su linguaggio in un caso d'uso live e in tempo reale di avatar multi-persona.

English

We present a physics-based humanoid controller that achieves high-fidelity motion imitation and fault-tolerant behavior in the presence of noisy input (e.g. pose estimates from video or generated from language) and unexpected falls. Our controller scales up to learning ten thousand motion clips without using any external stabilizing forces and learns to naturally recover from fail-state. Given reference motion, our controller can perpetually control simulated avatars without requiring resets. At its core, we propose the progressive multiplicative control policy (PMCP), which dynamically allocates new network capacity to learn harder and harder motion sequences. PMCP allows efficient scaling for learning from large-scale motion databases and adding new tasks, such as fail-state recovery, without catastrophic forgetting. We demonstrate the effectiveness of our controller by using it to imitate noisy poses from video-based pose estimators and language-based motion generators in a live and real-time multi-person avatar use case.