Sofortige Erfassung von Mehransichts-Köpfen durch lernbare Registrierung

Instant Multi-View Head Capture through Learnable Registration

June 12, 2023

Autoren: Timo Bolkart, Tianye Li, Michael J. Black

cs.AI

Zusammenfassung

Bestehende Methoden zur Erfassung von Datensätzen von 3D-Köpfen in dichter semantischer Korrespondenz sind langsam und behandeln das Problem üblicherweise in zwei separaten Schritten: Multi-View-Stereo (MVS)-Rekonstruktion gefolgt von nicht-starrer Registrierung. Um diesen Prozess zu vereinfachen, führen wir TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) ein, um 3D-Köpfe in dichter Korrespondenz direkt aus kalibrierten Multi-View-Bildern abzuleiten. Die Registrierung von Datensätzen aus 3D-Scans erfordert typischerweise manuelle Parameteroptimierung, um die richtige Balance zwischen einer präzisen Anpassung der Scan-Oberflächen und der Robustheit gegenüber Scan-Rauschen und Ausreißern zu finden. Stattdessen schlagen wir vor, einen 3D-Kopfdatensatz gemeinsam mit dem Training von TEMPEH zu registrieren. Konkret minimieren wir während des Trainings einen geometrischen Verlust, der üblicherweise für die Oberflächenregistrierung verwendet wird, und nutzen TEMPEH effektiv als Regularisierer. Unsere Multi-View-Kopfableitung basiert auf einer volumetrischen Merkmalsdarstellung, die Merkmale aus jeder Ansicht unter Verwendung von Kamerakalibrierungsinformationen abtastet und fusioniert. Um partielle Verdeckungen und ein großes Aufnahmevolumen, das Kopfbewegungen ermöglicht, zu berücksichtigen, verwenden wir eine ansichts- und oberflächenbewusste Merkmalsfusion sowie ein raumtransformatorbasiertes Kopf-Lokalisierungsmodul. Wir verwenden rohe MVS-Scans als Supervision während des Trainings, aber einmal trainiert, sagt TEMPEH direkt 3D-Köpfe in dichter Korrespondenz voraus, ohne Scans zu benötigen. Die Vorhersage eines Kopfes dauert etwa 0,3 Sekunden mit einem medianen Rekonstruktionsfehler von 0,26 mm, was 64 % niedriger ist als der aktuelle Stand der Technik. Dies ermöglicht die effiziente Erfassung großer Datensätze, die mehrere Personen und diverse Gesichtsbewegungen enthalten. Code, Modell und Daten sind öffentlich verfügbar unter https://tempeh.is.tue.mpg.de.

English

Existing methods for capturing datasets of 3D heads in dense semantic correspondence are slow, and commonly address the problem in two separate steps; multi-view stereo (MVS) reconstruction followed by non-rigid registration. To simplify this process, we introduce TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) to directly infer 3D heads in dense correspondence from calibrated multi-view images. Registering datasets of 3D scans typically requires manual parameter tuning to find the right balance between accurately fitting the scans surfaces and being robust to scanning noise and outliers. Instead, we propose to jointly register a 3D head dataset while training TEMPEH. Specifically, during training we minimize a geometric loss commonly used for surface registration, effectively leveraging TEMPEH as a regularizer. Our multi-view head inference builds on a volumetric feature representation that samples and fuses features from each view using camera calibration information. To account for partial occlusions and a large capture volume that enables head movements, we use view- and surface-aware feature fusion, and a spatial transformer-based head localization module, respectively. We use raw MVS scans as supervision during training, but, once trained, TEMPEH directly predicts 3D heads in dense correspondence without requiring scans. Predicting one head takes about 0.3 seconds with a median reconstruction error of 0.26 mm, 64% lower than the current state-of-the-art. This enables the efficient capture of large datasets containing multiple people and diverse facial motions. Code, model, and data are publicly available at https://tempeh.is.tue.mpg.de.