HeadCraft: Modellering van gedetailleerde vormvariaties voor geanimeerde 3DMM's

HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

December 21, 2023

Auteurs: Artem Sevastopolsky, Philip-William Grassal, Simon Giebenhain, ShahRukh Athar, Luisa Verdoliva, Matthias Niessner

cs.AI

Samenvatting

Huidige ontwikkelingen in het modelleren van menselijke hoofden maken het mogelijk om geloofwaardige 3D-hoofdmodellen te genereren via neurale representaties. Desondanks blijft het construeren van complete, hoogwaardige hoofdmodellen met expliciet gecontroleerde animatie een uitdaging. Bovendien is het aanvullen van de hoofdgeometrie op basis van een gedeeltelijke waarneming, bijvoorbeeld afkomstig van een dieptesensor, terwijl details behouden blijven, vaak problematisch voor bestaande methoden. Wij introduceren een generatief model voor gedetailleerde 3D-hoofdmeshes bovenop een gearticuleerd 3DMM (3D Morphable Model) dat zowel expliciete animatie als het behoud van hoge details mogelijk maakt. Onze methode wordt in twee fasen getraind. Eerst registreren we een parametrisch hoofdmodel met vertexverplaatsingen op elk mesh van het recent geïntroduceerde NPHM-dataset van nauwkeurige 3D-hoofdscans. De geschatte verplaatsingen worden vastgelegd in een handmatig gemaakte UV-lay-out. Vervolgens trainen we een StyleGAN-model om te generaliseren over de UV-kaarten van verplaatsingen. De decompositie van het parametrische model en de hoogwaardige vertexverplaatsingen stellen ons in staat om het model te animeren en semantisch aan te passen. We demonstreren de resultaten van onvoorwaardelijke generatie en aanpassing aan volledige of gedeeltelijke waarnemingen. De projectpagina is beschikbaar op https://seva100.github.io/headcraft.

English

Current advances in human head modeling allow to generate plausible-looking 3D head models via neural representations. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g. coming from a depth sensor, while preserving details is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM which allows explicit animation and high-detail preservation at the same time. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model in order to generalize over the UV maps of displacements. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify it semantically. We demonstrate the results of unconditional generation and fitting to the full or partial observation. The project page is available at https://seva100.github.io/headcraft.