HeadCraft: Modelado de Variaciones de Forma de Alto Detalle para 3DMMs Animados

HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

December 21, 2023

Autores: Artem Sevastopolsky, Philip-William Grassal, Simon Giebenhain, ShahRukh Athar, Luisa Verdoliva, Matthias Niessner

cs.AI

Resumen

Los avances actuales en el modelado de cabezas humanas permiten generar modelos 3D de cabezas con apariencia realista mediante representaciones neuronales. Sin embargo, la construcción de modelos completos de cabezas de alta fidelidad con animación controlada explícitamente sigue siendo un desafío. Además, completar la geometría de la cabeza basándose en una observación parcial, por ejemplo, proveniente de un sensor de profundidad, mientras se preservan los detalles, suele ser problemático para los métodos existentes. Introducimos un modelo generativo para mallas 3D detalladas de cabezas sobre un 3DMM articulado que permite tanto la animación explícita como la preservación de detalles de alta calidad al mismo tiempo. Nuestro método se entrena en dos etapas. Primero, registramos un modelo paramétrico de cabeza con desplazamientos de vértices en cada malla del recientemente introducido conjunto de datos NPHM, que contiene escaneos 3D precisos de cabezas. Los desplazamientos estimados se integran en un diseño UV creado manualmente. Segundo, entrenamos un modelo StyleGAN para generalizar sobre los mapas UV de desplazamientos. La descomposición del modelo paramétrico y los desplazamientos de vértices de alta calidad nos permiten animar el modelo y modificarlo semánticamente. Demostramos los resultados de la generación incondicional y el ajuste a observaciones completas o parciales. La página del proyecto está disponible en https://seva100.github.io/headcraft.

English

Current advances in human head modeling allow to generate plausible-looking 3D head models via neural representations. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g. coming from a depth sensor, while preserving details is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM which allows explicit animation and high-detail preservation at the same time. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model in order to generalize over the UV maps of displacements. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify it semantically. We demonstrate the results of unconditional generation and fitting to the full or partial observation. The project page is available at https://seva100.github.io/headcraft.