Физически обоснованное переназначение движения на основе разреженных входных данных

Physics-based Motion Retargeting from Sparse Inputs

July 4, 2023

Авторы: Daniele Reda, Jungdam Won, Yuting Ye, Michiel van de Panne, Alexander Winkler

cs.AI

Аннотация

Аватары играют важную роль в создании интерактивных и погружающих впечатлений в виртуальных мирах. Одной из проблем при анимации таких персонажей для имитации движений пользователя является то, что коммерческие продукты AR/VR состоят только из гарнитуры и контроллеров, предоставляя крайне ограниченные данные о позе пользователя. Другая сложность заключается в том, что аватар может иметь отличную от человеческой структуру скелета, и соответствие между ними неочевидно. В данной работе мы решаем обе эти проблемы. Мы представляем метод для переноса движений в реальном времени с использованием скудных данных сенсоров человека на персонажей с различной морфологией. Наш метод использует обучение с подкреплением для тренировки политики управления персонажами в физическом симуляторе. Для обучения нам требуется только данные захвата движений человека, без необходимости использования анимаций, созданных художниками для каждого аватара. Это позволяет нам использовать большие наборы данных захвата движений для обучения универсальных политик, которые могут отслеживать движения новых пользователей в реальном времени на основе реальных и скудных данных. Мы демонстрируем работоспособность нашего подхода на трех персонажах с разной структурой скелета: динозавре, существе, похожем на мышь, и человеке. Мы показываем, что позы аватаров часто удивительно точно соответствуют позам пользователя, несмотря на отсутствие данных сенсоров о нижней части тела. Мы обсуждаем и анализируем ключевые компоненты нашей системы, в частности этап кинематического переноса движений, награды за имитацию, контакт и действия, а также наши асимметричные наблюдения актора-критика. Кроме того, мы исследуем устойчивость нашего метода в различных сценариях, включая потерю равновесия, танцы и спортивные движения.

English

Avatars are important to create interactive and immersive experiences in virtual worlds. One challenge in animating these characters to mimic a user's motion is that commercial AR/VR products consist only of a headset and controllers, providing very limited sensor data of the user's pose. Another challenge is that an avatar might have a different skeleton structure than a human and the mapping between them is unclear. In this work we address both of these challenges. We introduce a method to retarget motions in real-time from sparse human sensor data to characters of various morphologies. Our method uses reinforcement learning to train a policy to control characters in a physics simulator. We only require human motion capture data for training, without relying on artist-generated animations for each avatar. This allows us to use large motion capture datasets to train general policies that can track unseen users from real and sparse data in real-time. We demonstrate the feasibility of our approach on three characters with different skeleton structure: a dinosaur, a mouse-like creature and a human. We show that the avatar poses often match the user surprisingly well, despite having no sensor information of the lower body available. We discuss and ablate the important components in our framework, specifically the kinematic retargeting step, the imitation, contact and action reward as well as our asymmetric actor-critic observations. We further explore the robustness of our method in a variety of settings including unbalancing, dancing and sports motions.