学習可能な登録による即時マルチビューヘッドキャプチャ

Instant Multi-View Head Capture through Learnable Registration

June 12, 2023

著者: Timo Bolkart, Tianye Li, Michael J. Black

cs.AI

要旨

既存の手法では、密な意味的対応を持つ3D頭部データセットを取得するプロセスが遅く、一般的にこの問題を2つの別々のステップで解決しています。まず、マルチビューステレオ（MVS）再構成を行い、その後、非剛体登録を実施します。このプロセスを簡素化するため、我々はTEMPEH（Towards Estimation of 3D Meshes from Performances of Expressive Heads）を導入し、キャリブレーションされたマルチビュー画像から直接、密な対応を持つ3D頭部を推論します。3Dスキャンのデータセットを登録する際には、通常、スキャン表面を正確にフィットさせることと、スキャンノイズや外れ値に対して頑健であることのバランスを見つけるために手動でのパラメータ調整が必要です。代わりに、我々はTEMPEHを訓練しながら3D頭部データセットを共同で登録することを提案します。具体的には、訓練中に表面登録に一般的に使用される幾何学的損失を最小化し、TEMPEHを正則化器として効果的に活用します。我々のマルチビュー頭部推論は、カメラキャリブレーション情報を使用して各ビューから特徴をサンプリングし、融合するボリュメトリック特徴表現に基づいています。部分的な遮蔽や頭部の動きを可能にする大きなキャプチャボリュームに対応するため、ビューおよび表面を意識した特徴融合と、空間トランスフォーマーベースの頭部位置特定モジュールをそれぞれ使用します。訓練中は生のMVSスキャンを教師データとして使用しますが、一度訓練されると、TEMPEHはスキャンを必要とせずに直接、密な対応を持つ3D頭部を予測します。1つの頭部を予測するのに約0.3秒かかり、再構成誤差の中央値は0.26 mmで、現在の最先端技術よりも64%低くなります。これにより、複数の人物と多様な顔の動きを含む大規模なデータセットを効率的に取得することが可能になります。コード、モデル、データはhttps://tempeh.is.tue.mpg.deで公開されています。

English

Existing methods for capturing datasets of 3D heads in dense semantic correspondence are slow, and commonly address the problem in two separate steps; multi-view stereo (MVS) reconstruction followed by non-rigid registration. To simplify this process, we introduce TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) to directly infer 3D heads in dense correspondence from calibrated multi-view images. Registering datasets of 3D scans typically requires manual parameter tuning to find the right balance between accurately fitting the scans surfaces and being robust to scanning noise and outliers. Instead, we propose to jointly register a 3D head dataset while training TEMPEH. Specifically, during training we minimize a geometric loss commonly used for surface registration, effectively leveraging TEMPEH as a regularizer. Our multi-view head inference builds on a volumetric feature representation that samples and fuses features from each view using camera calibration information. To account for partial occlusions and a large capture volume that enables head movements, we use view- and surface-aware feature fusion, and a spatial transformer-based head localization module, respectively. We use raw MVS scans as supervision during training, but, once trained, TEMPEH directly predicts 3D heads in dense correspondence without requiring scans. Predicting one head takes about 0.3 seconds with a median reconstruction error of 0.26 mm, 64% lower than the current state-of-the-art. This enables the efficient capture of large datasets containing multiple people and diverse facial motions. Code, model, and data are publicly available at https://tempeh.is.tue.mpg.de.