逐次的なプロキシからモーションへの学習によるワールド空間でのリアルタイム単眼全身キャプチャ

要旨

単眼モーションキャプチャにおける学習ベースのアプローチは、データ駆動型の回帰学習により最近有望な結果を示しています。しかし、データ収集とネットワーク設計の課題から、既存のソリューションがワールド空間で正確かつリアルタイムの全身キャプチャを実現することは依然として困難です。本研究では、2Dスケルトンシーケンスとワールド空間における3D回転モーションからなるプロキシデータセットと、順次的なプロキシからモーションへの学習スキームを提案します。このプロキシデータにより、正確な全身監視を伴う学習ベースのネットワークを構築できると同時に、一般化の問題も軽減できます。より正確で物理的に妥当な予測を行うため、ネットワーク内に接触を考慮したニューラルモーション降下モジュールを提案し、足と地面の接触およびプロキシ観測とのモーションのずれを認識できるようにします。さらに、ネットワーク内で身体と手のコンテキスト情報を共有し、全身モデルとの互換性が高い手首の姿勢復元を実現します。提案する学習ベースのソリューションにより、ワールド空間で足と地面の接触が妥当な、初のリアルタイム単眼全身キャプチャシステムを実証します。より多くのビデオ結果はプロジェクトページ（https://liuyebin.com/proxycap）でご覧いただけます。

English

Learning-based approaches to monocular motion capture have recently shown promising results by learning to regress in a data-driven manner. However, due to the challenges in data collection and network designs, it remains challenging for existing solutions to achieve real-time full-body capture while being accurate in world space. In this work, we contribute a sequential proxy-to-motion learning scheme together with a proxy dataset of 2D skeleton sequences and 3D rotational motions in world space. Such proxy data enables us to build a learning-based network with accurate full-body supervision while also mitigating the generalization issues. For more accurate and physically plausible predictions, a contact-aware neural motion descent module is proposed in our network so that it can be aware of foot-ground contact and motion misalignment with the proxy observations. Additionally, we share the body-hand context information in our network for more compatible wrist poses recovery with the full-body model. With the proposed learning-based solution, we demonstrate the first real-time monocular full-body capture system with plausible foot-ground contact in world space. More video results can be found at our project page: https://liuyebin.com/proxycap.

逐次的なプロキシからモーションへの学習によるワールド空間でのリアルタイム単眼全身キャプチャ

Real-time Monocular Full-body Capture in World Space via Sequential Proxy-to-Motion Learning

要旨

Support