순차적 프록시-모션 학습을 통한 월드 공간에서의 실시간 단안 영상 기반 전신 캡처

Real-time Monocular Full-body Capture in World Space via Sequential Proxy-to-Motion Learning

July 3, 2023

저자: Yuxiang Zhang, Hongwen Zhang, Liangxiao Hu, Hongwei Yi, Shengping Zhang, Yebin Liu

cs.AI

초록

단안(monocular) 모션 캡처에 대한 학습 기반 접근법은 최근 데이터 주도 방식으로 회귀(regression)를 학습함으로써 유망한 결과를 보여주고 있다. 그러나 데이터 수집과 네트워크 설계의 어려움으로 인해, 기존 솔루션들은 세계 좌표계(world space)에서 정확하면서도 실시간 전신 캡처를 달성하는 데 여전히 어려움을 겪고 있다. 본 연구에서는 2D 골격 시퀀스와 3D 회전 모션을 포함한 프록시 데이터셋과 함께 순차적 프록시-모션 학습 기법을 제안한다. 이러한 프록시 데이터는 정확한 전신 감독(supervision)을 통해 학습 기반 네트워크를 구축할 수 있게 하며, 일반화 문제를 완화하는 데도 기여한다. 더 정확하고 물리적으로 타당한 예측을 위해, 본 네트워크에서는 발-지면 접촉과 프록시 관측치와의 모션 불일치를 인지할 수 있는 접촉 인식 신경 모션 하강(contact-aware neural motion descent) 모듈을 제안한다. 또한, 전신 모델과 더 호환 가능한 손목 자세 복구를 위해 네트워크 내에서 신체-손 컨텍스트 정보를 공유한다. 제안된 학습 기반 솔루션을 통해, 세계 좌표계에서 타당한 발-지면 접촉을 갖춘 최초의 실시간 단안 전신 캡처 시스템을 구현하였다. 더 많은 비디오 결과는 프로젝트 페이지(https://liuyebin.com/proxycap)에서 확인할 수 있다.

English

Learning-based approaches to monocular motion capture have recently shown promising results by learning to regress in a data-driven manner. However, due to the challenges in data collection and network designs, it remains challenging for existing solutions to achieve real-time full-body capture while being accurate in world space. In this work, we contribute a sequential proxy-to-motion learning scheme together with a proxy dataset of 2D skeleton sequences and 3D rotational motions in world space. Such proxy data enables us to build a learning-based network with accurate full-body supervision while also mitigating the generalization issues. For more accurate and physically plausible predictions, a contact-aware neural motion descent module is proposed in our network so that it can be aware of foot-ground contact and motion misalignment with the proxy observations. Additionally, we share the body-hand context information in our network for more compatible wrist poses recovery with the full-body model. With the proposed learning-based solution, we demonstrate the first real-time monocular full-body capture system with plausible foot-ground contact in world space. More video results can be found at our project page: https://liuyebin.com/proxycap.