실시간 시뮬레이션된 아바타를 위한 지속적 휴머노이드 제어

초록

본 논문에서는 노이즈가 포함된 입력(예: 비디오에서 추정된 포즈 또는 언어로 생성된 포즈)과 예기치 않은 낙상 상황에서도 고해상도 모션 모방과 내결함성 동작을 달성하는 물리 기반 휴머노이드 컨트롤러를 제시한다. 우리의 컨트롤러는 외부 안정화 힘을 사용하지 않고도 수만 개의 모션 클립을 학습할 수 있으며, 실패 상태에서 자연스럽게 회복하는 방법을 학습한다. 참조 모션이 주어지면, 이 컨트롤러는 시뮬레이션된 아바타를 재설정 없이 지속적으로 제어할 수 있다. 핵심적으로, 우리는 점진적 곱셈 제어 정책(Progressive Multiplicative Control Policy, PMCP)을 제안하는데, 이는 더 어려운 모션 시퀀스를 학습하기 위해 새로운 네트워크 용량을 동적으로 할당한다. PMCP는 대규모 모션 데이터베이스로부터의 학습과 실패 상태 회복과 같은 새로운 작업 추가를 효율적으로 확장할 수 있도록 하며, 이 과정에서 치명적인 망각 현상을 방지한다. 우리는 이 컨트롤러의 효과를 실시간 다중 사용자 아바타 사용 사례에서 비디오 기반 포즈 추정기와 언어 기반 모션 생성기로부터 노이즈가 포함된 포즈를 모방하는 데 활용하여 입증한다.

English

We present a physics-based humanoid controller that achieves high-fidelity motion imitation and fault-tolerant behavior in the presence of noisy input (e.g. pose estimates from video or generated from language) and unexpected falls. Our controller scales up to learning ten thousand motion clips without using any external stabilizing forces and learns to naturally recover from fail-state. Given reference motion, our controller can perpetually control simulated avatars without requiring resets. At its core, we propose the progressive multiplicative control policy (PMCP), which dynamically allocates new network capacity to learn harder and harder motion sequences. PMCP allows efficient scaling for learning from large-scale motion databases and adding new tasks, such as fail-state recovery, without catastrophic forgetting. We demonstrate the effectiveness of our controller by using it to imitate noisy poses from video-based pose estimators and language-based motion generators in a live and real-time multi-person avatar use case.

실시간 시뮬레이션된 아바타를 위한 지속적 휴머노이드 제어

Perpetual Humanoid Control for Real-time Simulated Avatars

초록

Support