HeadCraft : Modélisation des variations de formes à haut niveau de détail pour les modèles morphables 3D animés

HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

December 21, 2023

Auteurs: Artem Sevastopolsky, Philip-William Grassal, Simon Giebenhain, ShahRukh Athar, Luisa Verdoliva, Matthias Niessner

cs.AI

Résumé

Les avancées récentes dans la modélisation de la tête humaine permettent de générer des modèles 3D de tête plausibles grâce à des représentations neuronales. Cependant, la construction de modèles de tête complets et haute fidélité avec un contrôle explicite de l'animation reste un défi. De plus, compléter la géométrie de la tête à partir d'une observation partielle, par exemple provenant d'un capteur de profondeur, tout en préservant les détails, est souvent problématique pour les méthodes existantes. Nous introduisons un modèle génératif pour des maillages 3D de tête détaillés, basé sur un modèle morphable 3D articulé (3DMM) qui permet à la fois une animation explicite et la préservation des détails fins. Notre méthode est entraînée en deux étapes. Premièrement, nous enregistrons un modèle de tête paramétrique avec des déplacements de sommets sur chaque maillage du jeu de données NPHM récemment introduit, qui contient des scans 3D précis de têtes. Les déplacements estimés sont intégrés dans une disposition UV prédéfinie. Deuxièmement, nous entraînons un modèle StyleGAN pour généraliser les cartes UV de déplacements. La décomposition du modèle paramétrique et des déplacements de sommets de haute qualité nous permet d'animer le modèle et de le modifier sémantiquement. Nous démontrons les résultats de la génération inconditionnelle et de l'ajustement à des observations complètes ou partielles. La page du projet est disponible à l'adresse suivante : https://seva100.github.io/headcraft.

English

Current advances in human head modeling allow to generate plausible-looking 3D head models via neural representations. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g. coming from a depth sensor, while preserving details is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM which allows explicit animation and high-detail preservation at the same time. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model in order to generalize over the UV maps of displacements. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify it semantically. We demonstrate the results of unconditional generation and fitting to the full or partial observation. The project page is available at https://seva100.github.io/headcraft.