HeadCraft: Modellazione di Variazioni di Forma ad Alto Dettaglio per 3DMM Animati

HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

December 21, 2023

Autori: Artem Sevastopolsky, Philip-William Grassal, Simon Giebenhain, ShahRukh Athar, Luisa Verdoliva, Matthias Niessner

cs.AI

Abstract

I recenti progressi nella modellazione della testa umana consentono di generare modelli 3D di teste realistici tramite rappresentazioni neurali. Tuttavia, la costruzione di modelli completi di teste ad alta fedeltà con animazione esplicitamente controllata rimane un problema. Inoltre, completare la geometria della testa basandosi su un'osservazione parziale, ad esempio proveniente da un sensore di profondità, preservando i dettagli, è spesso problematico per i metodi esistenti. Introduciamo un modello generativo per mesh 3D dettagliate di teste basato su un 3DMM articolato, che consente sia l'animazione esplicita che la preservazione di dettagli ad alta risoluzione. Il nostro metodo viene addestrato in due fasi. In primo luogo, registriamo un modello parametrico di testa con spostamenti dei vertici su ciascuna mesh del recente dataset NPHM, composto da scansioni 3D accurate di teste. Gli spostamenti stimati vengono mappati su un layout UV creato manualmente. In secondo luogo, addestriamo un modello StyleGAN per generalizzare le mappe UV degli spostamenti. La decomposizione del modello parametrico e gli spostamenti di alta qualità dei vertici ci permettono di animare il modello e modificarlo semanticamente. Dimostriamo i risultati della generazione incondizionata e dell'adattamento a osservazioni complete o parziali. La pagina del progetto è disponibile all'indirizzo https://seva100.github.io/headcraft.

English

Current advances in human head modeling allow to generate plausible-looking 3D head models via neural representations. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g. coming from a depth sensor, while preserving details is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM which allows explicit animation and high-detail preservation at the same time. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model in order to generalize over the UV maps of displacements. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify it semantically. We demonstrate the results of unconditional generation and fitting to the full or partial observation. The project page is available at https://seva100.github.io/headcraft.