Control Perpetuo de Humanoides para Avatares Simulados en Tiempo Real

Perpetual Humanoid Control for Real-time Simulated Avatars

May 10, 2023

Autores: Zhengyi Luo, Jinkun Cao, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Resumen

Presentamos un controlador de humanoides basado en física que logra una imitación de movimiento de alta fidelidad y un comportamiento tolerante a fallos en presencia de entradas ruidosas (por ejemplo, estimaciones de pose a partir de video o generadas a partir de lenguaje) y caídas inesperadas. Nuestro controlador escala hasta aprender diez mil clips de movimiento sin utilizar fuerzas estabilizadoras externas y aprende a recuperarse naturalmente de estados de fallo. Dado un movimiento de referencia, nuestro controlador puede controlar avatares simulados de manera perpetua sin requerir reinicios. En su núcleo, proponemos la política de control multiplicativo progresivo (PMCP, por sus siglas en inglés), que asigna dinámicamente nueva capacidad de red para aprender secuencias de movimiento cada vez más difíciles. PMCP permite un escalado eficiente para el aprendizaje a partir de bases de datos de movimiento a gran escala y la adición de nuevas tareas, como la recuperación de estados de fallo, sin olvido catastrófico. Demostramos la efectividad de nuestro controlador utilizándolo para imitar poses ruidosas provenientes de estimadores de pose basados en video y generadores de movimiento basados en lenguaje en un caso de uso en tiempo real y en vivo con avatares multipersona.

English

We present a physics-based humanoid controller that achieves high-fidelity motion imitation and fault-tolerant behavior in the presence of noisy input (e.g. pose estimates from video or generated from language) and unexpected falls. Our controller scales up to learning ten thousand motion clips without using any external stabilizing forces and learns to naturally recover from fail-state. Given reference motion, our controller can perpetually control simulated avatars without requiring resets. At its core, we propose the progressive multiplicative control policy (PMCP), which dynamically allocates new network capacity to learn harder and harder motion sequences. PMCP allows efficient scaling for learning from large-scale motion databases and adding new tasks, such as fail-state recovery, without catastrophic forgetting. We demonstrate the effectiveness of our controller by using it to imitate noisy poses from video-based pose estimators and language-based motion generators in a live and real-time multi-person avatar use case.