Acquisizione Istantanea di Teste Multi-Vista attraverso Registrazione Apprendibile

Instant Multi-View Head Capture through Learnable Registration

June 12, 2023

Autori: Timo Bolkart, Tianye Li, Michael J. Black

cs.AI

Abstract

I metodi esistenti per acquisire dataset di teste 3D in corrispondenza semantica densa sono lenti e comunemente affrontano il problema in due passaggi separati: ricostruzione stereo multi-vista (MVS) seguita da registrazione non rigida. Per semplificare questo processo, introduciamo TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) per inferire direttamente teste 3D in corrispondenza densa a partire da immagini multi-vista calibrate. La registrazione di dataset di scansioni 3D richiede tipicamente una regolazione manuale dei parametri per trovare il giusto equilibrio tra l'adattamento accurato delle superfici delle scansioni e la robustezza al rumore e agli outlier delle scansioni. Proponiamo invece di registrare congiuntamente un dataset di teste 3D durante l'addestramento di TEMPEH. Nello specifico, durante l'addestramento minimizziamo una perdita geometrica comunemente utilizzata per la registrazione di superfici, sfruttando efficacemente TEMPEH come regolarizzatore. La nostra inferenza multi-vista delle teste si basa su una rappresentazione volumetrica delle feature che campiona e fonde le feature di ciascuna vista utilizzando le informazioni di calibrazione della telecamera. Per tenere conto delle occlusioni parziali e di un ampio volume di acquisizione che consente movimenti della testa, utilizziamo rispettivamente una fusione delle feature consapevole della vista e della superficie, e un modulo di localizzazione della testa basato su trasformatori spaziali. Utilizziamo scansioni MVS grezze come supervisione durante l'addestramento, ma, una volta addestrato, TEMPEH predice direttamente teste 3D in corrispondenza densa senza richiedere scansioni. La previsione di una testa richiede circa 0,3 secondi con un errore di ricostruzione mediano di 0,26 mm, il 64% in meno rispetto allo stato dell'arte attuale. Ciò consente l'acquisizione efficiente di grandi dataset contenenti più persone e movimenti facciali diversificati. Codice, modello e dati sono disponibili pubblicamente all'indirizzo https://tempeh.is.tue.mpg.de.

English

Existing methods for capturing datasets of 3D heads in dense semantic correspondence are slow, and commonly address the problem in two separate steps; multi-view stereo (MVS) reconstruction followed by non-rigid registration. To simplify this process, we introduce TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) to directly infer 3D heads in dense correspondence from calibrated multi-view images. Registering datasets of 3D scans typically requires manual parameter tuning to find the right balance between accurately fitting the scans surfaces and being robust to scanning noise and outliers. Instead, we propose to jointly register a 3D head dataset while training TEMPEH. Specifically, during training we minimize a geometric loss commonly used for surface registration, effectively leveraging TEMPEH as a regularizer. Our multi-view head inference builds on a volumetric feature representation that samples and fuses features from each view using camera calibration information. To account for partial occlusions and a large capture volume that enables head movements, we use view- and surface-aware feature fusion, and a spatial transformer-based head localization module, respectively. We use raw MVS scans as supervision during training, but, once trained, TEMPEH directly predicts 3D heads in dense correspondence without requiring scans. Predicting one head takes about 0.3 seconds with a median reconstruction error of 0.26 mm, 64% lower than the current state-of-the-art. This enables the efficient capture of large datasets containing multiple people and diverse facial motions. Code, model, and data are publicly available at https://tempeh.is.tue.mpg.de.