Directe Multi-View Hoofdcapturatie via Leerbare Registratie

Instant Multi-View Head Capture through Learnable Registration

June 12, 2023

Auteurs: Timo Bolkart, Tianye Li, Michael J. Black

cs.AI

Samenvatting

Bestaande methoden voor het vastleggen van datasets van 3D-hoofden in dichte semantische correspondentie zijn traag en behandelen het probleem doorgaans in twee afzonderlijke stappen: multi-view stereo (MVS) reconstructie gevolgd door niet-rigide registratie. Om dit proces te vereenvoudigen, introduceren we TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) om direct 3D-hoofden in dichte correspondentie af te leiden uit gekalibreerde multi-view beelden. Het registreren van datasets van 3D-scans vereist meestal handmatige parameterafstemming om de juiste balans te vinden tussen het nauwkeurig passen van de scanoppervlakken en het robuust zijn tegen scanningsruis en uitschieters. In plaats daarvan stellen we voor om een 3D-hoofddataset gezamenlijk te registreren tijdens het trainen van TEMPEH. Specifiek minimaliseren we tijdens de training een geometrisch verlies dat vaak wordt gebruikt voor oppervlakregistratie, waarbij TEMPEH effectief wordt gebruikt als een regularisator. Onze multi-view hoofdinferentie bouwt voort op een volumetrische kenmerkrepresentatie die kenmerken van elk beeld bemonstert en samenvoegt met behulp van camerakalibratie-informatie. Om rekening te houden met gedeeltelijke occlusies en een groot opnamevolume dat hoofdbewegingen mogelijk maakt, gebruiken we respectievelijk view- en oppervlakbewuste kenmerksamenvoeging en een op ruimtelijke transformaties gebaseerde hoofdlocalisatiemodule. We gebruiken ruwe MVS-scans als supervisie tijdens de training, maar eenmaal getraind, voorspelt TEMPEH direct 3D-hoofden in dichte correspondentie zonder scans nodig te hebben. Het voorspellen van één hoofd duurt ongeveer 0,3 seconden met een mediane reconstructiefout van 0,26 mm, wat 64% lager is dan de huidige state-of-the-art. Dit maakt het efficiënt vastleggen van grote datasets mogelijk die meerdere personen en diverse gezichtsbewegingen bevatten. Code, model en data zijn openbaar beschikbaar op https://tempeh.is.tue.mpg.de.

English

Existing methods for capturing datasets of 3D heads in dense semantic correspondence are slow, and commonly address the problem in two separate steps; multi-view stereo (MVS) reconstruction followed by non-rigid registration. To simplify this process, we introduce TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) to directly infer 3D heads in dense correspondence from calibrated multi-view images. Registering datasets of 3D scans typically requires manual parameter tuning to find the right balance between accurately fitting the scans surfaces and being robust to scanning noise and outliers. Instead, we propose to jointly register a 3D head dataset while training TEMPEH. Specifically, during training we minimize a geometric loss commonly used for surface registration, effectively leveraging TEMPEH as a regularizer. Our multi-view head inference builds on a volumetric feature representation that samples and fuses features from each view using camera calibration information. To account for partial occlusions and a large capture volume that enables head movements, we use view- and surface-aware feature fusion, and a spatial transformer-based head localization module, respectively. We use raw MVS scans as supervision during training, but, once trained, TEMPEH directly predicts 3D heads in dense correspondence without requiring scans. Predicting one head takes about 0.3 seconds with a median reconstruction error of 0.26 mm, 64% lower than the current state-of-the-art. This enables the efficient capture of large datasets containing multiple people and diverse facial motions. Code, model, and data are publicly available at https://tempeh.is.tue.mpg.de.