リアルタイムシミュレーションアバターのための永続的人型制御

要旨

本論文では、物理ベースのヒューマノイドコントローラを提案し、ノイズの多い入力（例：ビデオからの姿勢推定や言語から生成されたもの）や予期せぬ転倒といった状況下でも、高精度な動作模倣とフォールトトレラントな振る舞いを実現する。本コントローラは、外部の安定化力を一切使用せずに1万個のモーションクリップを学習するスケーラビリティを有し、失敗状態からの自然な回復を学習する。参照モーションが与えられると、本コントローラはリセットを必要とせずにシミュレーションアバターを永続的に制御できる。その中核となるのは、プログレッシブ・マルチプリカティブ制御ポリシー（PMCP）であり、新しいネットワーク容量を動的に割り当てて、より難しいモーションシーケンスを学習する。PMCPにより、大規模なモーションデータベースからの学習や、失敗状態回復などの新たなタスクの追加を、破滅的な忘却を伴わずに効率的にスケールアップできる。本コントローラの有効性を、ビデオベースの姿勢推定器や言語ベースのモーションジェネレータから得られたノイズの多い姿勢を模倣し、リアルタイムのマルチパーソンアバター使用ケースにおいて実証する。

English

We present a physics-based humanoid controller that achieves high-fidelity motion imitation and fault-tolerant behavior in the presence of noisy input (e.g. pose estimates from video or generated from language) and unexpected falls. Our controller scales up to learning ten thousand motion clips without using any external stabilizing forces and learns to naturally recover from fail-state. Given reference motion, our controller can perpetually control simulated avatars without requiring resets. At its core, we propose the progressive multiplicative control policy (PMCP), which dynamically allocates new network capacity to learn harder and harder motion sequences. PMCP allows efficient scaling for learning from large-scale motion databases and adding new tasks, such as fail-state recovery, without catastrophic forgetting. We demonstrate the effectiveness of our controller by using it to imitate noisy poses from video-based pose estimators and language-based motion generators in a live and real-time multi-person avatar use case.

リアルタイムシミュレーションアバターのための永続的人型制御

Perpetual Humanoid Control for Real-time Simulated Avatars

要旨

Support