Capture monoscopique en temps réel du corps entier dans l'espace mondial via un apprentissage séquentiel proxy-mouvement

Real-time Monocular Full-body Capture in World Space via Sequential Proxy-to-Motion Learning

July 3, 2023

papers.authors: Yuxiang Zhang, Hongwen Zhang, Liangxiao Hu, Hongwei Yi, Shengping Zhang, Yebin Liu

cs.AI

papers.abstract

Les approches basées sur l'apprentissage pour la capture de mouvement monoculaire ont récemment montré des résultats prometteurs en apprenant à effectuer une régression de manière pilotée par les données. Cependant, en raison des défis liés à la collecte de données et à la conception des réseaux, il reste difficile pour les solutions existantes d'atteindre une capture en temps réel du corps entier tout en étant précises dans l'espace mondial. Dans ce travail, nous proposons un schéma d'apprentissage séquentiel de proxy à mouvement, accompagné d'un ensemble de données proxy comprenant des séquences de squelettes 2D et des mouvements rotationnels 3D dans l'espace mondial. Ces données proxy nous permettent de construire un réseau basé sur l'apprentissage avec une supervision précise du corps entier, tout en atténuant les problèmes de généralisation. Pour des prédictions plus précises et physiquement plausibles, un module de descente de mouvement neuronal conscient des contacts est proposé dans notre réseau, lui permettant de prendre en compte les contacts pied-sol et les désalignements de mouvement par rapport aux observations proxy. De plus, nous partageons les informations contextuelles corps-main dans notre réseau pour une récupération plus compatible des poses du poignet avec le modèle du corps entier. Avec la solution basée sur l'apprentissage proposée, nous démontrons le premier système de capture monoculaire en temps réel du corps entier avec des contacts pied-sol plausibles dans l'espace mondial. Plus de résultats vidéo sont disponibles sur notre page de projet : https://liuyebin.com/proxycap.

English

Learning-based approaches to monocular motion capture have recently shown promising results by learning to regress in a data-driven manner. However, due to the challenges in data collection and network designs, it remains challenging for existing solutions to achieve real-time full-body capture while being accurate in world space. In this work, we contribute a sequential proxy-to-motion learning scheme together with a proxy dataset of 2D skeleton sequences and 3D rotational motions in world space. Such proxy data enables us to build a learning-based network with accurate full-body supervision while also mitigating the generalization issues. For more accurate and physically plausible predictions, a contact-aware neural motion descent module is proposed in our network so that it can be aware of foot-ground contact and motion misalignment with the proxy observations. Additionally, we share the body-hand context information in our network for more compatible wrist poses recovery with the full-body model. With the proposed learning-based solution, we demonstrate the first real-time monocular full-body capture system with plausible foot-ground contact in world space. More video results can be found at our project page: https://liuyebin.com/proxycap.