Captura Instantánea de Cabezas Multi-Vista mediante Registro Aprendible

Instant Multi-View Head Capture through Learnable Registration

June 12, 2023

Autores: Timo Bolkart, Tianye Li, Michael J. Black

cs.AI

Resumen

Los métodos existentes para capturar conjuntos de datos de cabezas 3D en correspondencia semántica densa son lentos y comúnmente abordan el problema en dos pasos separados: reconstrucción estereoscópica multivista (MVS) seguida de registro no rígido. Para simplificar este proceso, presentamos TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) para inferir directamente cabezas 3D en correspondencia densa a partir de imágenes multivista calibradas. Registrar conjuntos de datos de escaneos 3D generalmente requiere ajuste manual de parámetros para encontrar el equilibrio adecuado entre ajustar con precisión las superficies de los escaneos y ser robusto frente al ruido de escaneo y valores atípicos. En su lugar, proponemos registrar conjuntamente un conjunto de datos de cabezas 3D mientras entrenamos TEMPEH. Específicamente, durante el entrenamiento minimizamos una pérdida geométrica comúnmente utilizada para el registro de superficies, aprovechando efectivamente TEMPEH como un regularizador. Nuestra inferencia de cabezas multivista se basa en una representación volumétrica de características que muestrea y fusiona características de cada vista utilizando información de calibración de la cámara. Para tener en cuenta oclusiones parciales y un volumen de captura amplio que permite movimientos de la cabeza, utilizamos fusión de características consciente de la vista y la superficie, y un módulo de localización de cabeza basado en transformadores espaciales, respectivamente. Utilizamos escaneos MVS crudos como supervisión durante el entrenamiento, pero, una vez entrenado, TEMPEH predice directamente cabezas 3D en correspondencia densa sin requerir escaneos. Predecir una cabeza toma aproximadamente 0.3 segundos con un error de reconstrucción mediano de 0.26 mm, un 64% menor que el estado del arte actual. Esto permite la captura eficiente de grandes conjuntos de datos que contienen múltiples personas y diversos movimientos faciales. El código, el modelo y los datos están disponibles públicamente en https://tempeh.is.tue.mpg.de.

English

Existing methods for capturing datasets of 3D heads in dense semantic correspondence are slow, and commonly address the problem in two separate steps; multi-view stereo (MVS) reconstruction followed by non-rigid registration. To simplify this process, we introduce TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) to directly infer 3D heads in dense correspondence from calibrated multi-view images. Registering datasets of 3D scans typically requires manual parameter tuning to find the right balance between accurately fitting the scans surfaces and being robust to scanning noise and outliers. Instead, we propose to jointly register a 3D head dataset while training TEMPEH. Specifically, during training we minimize a geometric loss commonly used for surface registration, effectively leveraging TEMPEH as a regularizer. Our multi-view head inference builds on a volumetric feature representation that samples and fuses features from each view using camera calibration information. To account for partial occlusions and a large capture volume that enables head movements, we use view- and surface-aware feature fusion, and a spatial transformer-based head localization module, respectively. We use raw MVS scans as supervision during training, but, once trained, TEMPEH directly predicts 3D heads in dense correspondence without requiring scans. Predicting one head takes about 0.3 seconds with a median reconstruction error of 0.26 mm, 64% lower than the current state-of-the-art. This enables the efficient capture of large datasets containing multiple people and diverse facial motions. Code, model, and data are publicly available at https://tempeh.is.tue.mpg.de.