Постоянное управление гуманоидными аватарами в режиме реального времени

Perpetual Humanoid Control for Real-time Simulated Avatars

May 10, 2023

Авторы: Zhengyi Luo, Jinkun Cao, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Аннотация

Мы представляем физически обоснованный контроллер для гуманоидных моделей, который обеспечивает высокоточное воспроизведение движений и устойчивость к ошибкам при наличии зашумленных входных данных (например, оценок позы из видео или сгенерированных на основе текстовых описаний) и неожиданных падений. Наш контроллер способен масштабироваться для обучения на десятках тысяч клипов движений без использования внешних стабилизирующих сил и учится естественным образом восстанавливаться из аварийных состояний. При наличии эталонного движения контроллер способен бесконечно управлять симулированными аватарами без необходимости сброса. В основе нашего подхода лежит прогрессивная мультипликативная политика управления (PMCP), которая динамически выделяет новые ресурсы сети для изучения всё более сложных последовательностей движений. PMCP позволяет эффективно масштабировать обучение на крупных базах данных движений и добавлять новые задачи, такие как восстановление из аварийных состояний, без катастрофического забывания. Мы демонстрируем эффективность нашего контроллера, используя его для воспроизведения зашумленных поз, полученных из видео-оценщиков поз и генераторов движений на основе текста, в реальном времени в сценарии использования многопользовательских аватаров.

English

We present a physics-based humanoid controller that achieves high-fidelity motion imitation and fault-tolerant behavior in the presence of noisy input (e.g. pose estimates from video or generated from language) and unexpected falls. Our controller scales up to learning ten thousand motion clips without using any external stabilizing forces and learns to naturally recover from fail-state. Given reference motion, our controller can perpetually control simulated avatars without requiring resets. At its core, we propose the progressive multiplicative control policy (PMCP), which dynamically allocates new network capacity to learn harder and harder motion sequences. PMCP allows efficient scaling for learning from large-scale motion databases and adding new tasks, such as fail-state recovery, without catastrophic forgetting. We demonstrate the effectiveness of our controller by using it to imitate noisy poses from video-based pose estimators and language-based motion generators in a live and real-time multi-person avatar use case.