Controle Perpétuo de Humanoides para Avatares Simulados em Tempo Real

Perpetual Humanoid Control for Real-time Simulated Avatars

May 10, 2023

Autores: Zhengyi Luo, Jinkun Cao, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Resumo

Apresentamos um controlador humanóide baseado em física que alcança imitação de movimento de alta fidelidade e comportamento tolerante a falhas na presença de entradas ruidosas (por exemplo, estimativas de pose a partir de vídeo ou geradas a partir de linguagem) e quedas inesperadas. Nosso controlador escala para o aprendizado de dez mil clipes de movimento sem o uso de forças estabilizadoras externas e aprende a se recuperar naturalmente de estados de falha. Dado um movimento de referência, nosso controlador pode perpetuar o controle de avatares simulados sem a necessidade de reinicializações. Em sua essência, propomos a política de controle multiplicativo progressivo (PMCP), que aloca dinamicamente nova capacidade de rede para aprender sequências de movimento cada vez mais complexas. O PMCP permite uma escalabilidade eficiente para o aprendizado a partir de grandes bancos de dados de movimento e a adição de novas tarefas, como a recuperação de estados de falha, sem esquecimento catastrófico. Demonstramos a eficácia do nosso controlador ao utilizá-lo para imitar poses ruidosas provenientes de estimadores de pose baseados em vídeo e geradores de movimento baseados em linguagem em um caso de uso de avatar multipessoal em tempo real e ao vivo.

English

We present a physics-based humanoid controller that achieves high-fidelity motion imitation and fault-tolerant behavior in the presence of noisy input (e.g. pose estimates from video or generated from language) and unexpected falls. Our controller scales up to learning ten thousand motion clips without using any external stabilizing forces and learns to naturally recover from fail-state. Given reference motion, our controller can perpetually control simulated avatars without requiring resets. At its core, we propose the progressive multiplicative control policy (PMCP), which dynamically allocates new network capacity to learn harder and harder motion sequences. PMCP allows efficient scaling for learning from large-scale motion databases and adding new tasks, such as fail-state recovery, without catastrophic forgetting. We demonstrate the effectiveness of our controller by using it to imitate noisy poses from video-based pose estimators and language-based motion generators in a live and real-time multi-person avatar use case.