HeadCraft: Modellierung hochdetaillierter Formvariationen für animierte 3DMMs

HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

December 21, 2023

Autoren: Artem Sevastopolsky, Philip-William Grassal, Simon Giebenhain, ShahRukh Athar, Luisa Verdoliva, Matthias Niessner

cs.AI

Zusammenfassung

Aktuelle Fortschritte in der Modellierung des menschlichen Kopfes ermöglichen die Erzeugung plausibler 3D-Kopfmodelle mittels neuronaler Repräsentationen. Dennoch bleibt die Konstruktion vollständiger, hochdetaillierter Kopfmodelle mit explizit kontrollierbarer Animation eine Herausforderung. Darüber hinaus ist die Vervollständigung der Kopfgeometrie basierend auf einer partiellen Beobachtung, z. B. von einem Tiefensensor, bei gleichzeitiger Beibehaltung von Details für bestehende Methoden oft problematisch. Wir stellen ein generatives Modell für detaillierte 3D-Kopfnetze vor, das auf einem artikulierten 3DMM (3D Morphable Model) aufbaut und gleichzeitig explizite Animation und die Bewahrung hoher Detailgenauigkeit ermöglicht. Unsere Methode wird in zwei Stufen trainiert. Zunächst registrieren wir ein parametrisches Kopfmodell mit Vertex-Verschiebungen für jedes Netz des kürzlich eingeführten NPHM-Datensatzes präziser 3D-Kopfscans. Die geschätzten Verschiebungen werden in ein manuell erstelltes UV-Layout übertragen. Anschließend trainieren wir ein StyleGAN-Modell, um die UV-Karten der Verschiebungen zu generalisieren. Die Zerlegung des parametrischen Modells und die hochwertigen Vertex-Verschiebungen ermöglichen es uns, das Modell zu animieren und es semantisch zu modifizieren. Wir präsentieren die Ergebnisse der bedingungslosen Generierung sowie der Anpassung an vollständige oder partielle Beobachtungen. Die Projektseite ist unter https://seva100.github.io/headcraft verfügbar.

English

Current advances in human head modeling allow to generate plausible-looking 3D head models via neural representations. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g. coming from a depth sensor, while preserving details is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM which allows explicit animation and high-detail preservation at the same time. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model in order to generalize over the UV maps of displacements. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify it semantically. We demonstrate the results of unconditional generation and fitting to the full or partial observation. The project page is available at https://seva100.github.io/headcraft.