Capture Instantanée de Têtes Multi-Vues par Enregistrement Apprenable

Instant Multi-View Head Capture through Learnable Registration

June 12, 2023

Auteurs: Timo Bolkart, Tianye Li, Michael J. Black

cs.AI

Résumé

Les méthodes existantes pour capturer des ensembles de données de têtes 3D en correspondance sémantique dense sont lentes et abordent généralement le problème en deux étapes distinctes : la reconstruction stéréo multi-vues (MVS) suivie d'une registration non rigide. Pour simplifier ce processus, nous introduisons TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) pour inférer directement des têtes 3D en correspondance dense à partir d'images multi-vues calibrées. L'enregistrement des ensembles de données de scans 3D nécessite généralement un réglage manuel des paramètres pour trouver le bon équilibre entre l'ajustement précis des surfaces des scans et la robustesse au bruit de numérisation et aux valeurs aberrantes. À la place, nous proposons d'enregistrer conjointement un ensemble de données de têtes 3D tout en entraînant TEMPEH. Plus précisément, pendant l'entraînement, nous minimisons une perte géométrique couramment utilisée pour l'enregistrement de surfaces, utilisant ainsi efficacement TEMPEH comme régularisateur. Notre inférence de têtes multi-vues s'appuie sur une représentation volumétrique de caractéristiques qui échantillonne et fusionne les caractéristiques de chaque vue en utilisant les informations de calibration de la caméra. Pour tenir compte des occlusions partielles et d'un grand volume de capture permettant les mouvements de la tête, nous utilisons une fusion de caractéristiques sensible à la vue et à la surface, ainsi qu'un module de localisation de la tête basé sur un transformateur spatial, respectivement. Nous utilisons des scans MVS bruts comme supervision pendant l'entraînement, mais, une fois entraîné, TEMPEH prédit directement des têtes 3D en correspondance dense sans nécessiter de scans. La prédiction d'une tête prend environ 0,3 seconde avec une erreur de reconstruction médiane de 0,26 mm, soit 64 % de moins que l'état de l'art actuel. Cela permet la capture efficace de grands ensembles de données contenant plusieurs personnes et des mouvements faciaux divers. Le code, le modèle et les données sont disponibles publiquement à l'adresse https://tempeh.is.tue.mpg.de.

English

Existing methods for capturing datasets of 3D heads in dense semantic correspondence are slow, and commonly address the problem in two separate steps; multi-view stereo (MVS) reconstruction followed by non-rigid registration. To simplify this process, we introduce TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) to directly infer 3D heads in dense correspondence from calibrated multi-view images. Registering datasets of 3D scans typically requires manual parameter tuning to find the right balance between accurately fitting the scans surfaces and being robust to scanning noise and outliers. Instead, we propose to jointly register a 3D head dataset while training TEMPEH. Specifically, during training we minimize a geometric loss commonly used for surface registration, effectively leveraging TEMPEH as a regularizer. Our multi-view head inference builds on a volumetric feature representation that samples and fuses features from each view using camera calibration information. To account for partial occlusions and a large capture volume that enables head movements, we use view- and surface-aware feature fusion, and a spatial transformer-based head localization module, respectively. We use raw MVS scans as supervision during training, but, once trained, TEMPEH directly predicts 3D heads in dense correspondence without requiring scans. Predicting one head takes about 0.3 seconds with a median reconstruction error of 0.26 mm, 64% lower than the current state-of-the-art. This enables the efficient capture of large datasets containing multiple people and diverse facial motions. Code, model, and data are publicly available at https://tempeh.is.tue.mpg.de.