HeadCraft: Modelando Variações de Forma de Alta Detalhe para 3DMMs Animados

HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

December 21, 2023

Autores: Artem Sevastopolsky, Philip-William Grassal, Simon Giebenhain, ShahRukh Athar, Luisa Verdoliva, Matthias Niessner

cs.AI

Resumo

Os avanços atuais na modelagem da cabeça humana permitem gerar modelos 3D de cabeça com aparência plausível por meio de representações neurais. No entanto, a construção de modelos completos de cabeça de alta fidelidade com animação explicitamente controlada ainda é um desafio. Além disso, completar a geometria da cabeça com base em uma observação parcial, por exemplo, proveniente de um sensor de profundidade, enquanto se preservam os detalhes, é frequentemente problemático para os métodos existentes. Introduzimos um modelo generativo para malhas 3D detalhadas da cabeça sobre um 3DMM articulado, que permite animação explícita e preservação de alto detalhe simultaneamente. Nosso método é treinado em duas etapas. Primeiro, registramos um modelo paramétrico de cabeça com deslocamentos de vértices em cada malha do recentemente introduzido conjunto de dados NPHM, que contém varreduras 3D precisas de cabeças. Os deslocamentos estimados são incorporados em um layout UV artesanal. Segundo, treinamos um modelo StyleGAN para generalizar sobre os mapas UV de deslocamentos. A decomposição do modelo paramétrico e os deslocamentos de vértices de alta qualidade nos permitem animar o modelo e modificá-lo semanticamente. Demonstramos os resultados da geração incondicional e do ajuste à observação completa ou parcial. A página do projeto está disponível em https://seva100.github.io/headcraft.

English

Current advances in human head modeling allow to generate plausible-looking 3D head models via neural representations. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g. coming from a depth sensor, while preserving details is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM which allows explicit animation and high-detail preservation at the same time. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model in order to generalize over the UV maps of displacements. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify it semantically. We demonstrate the results of unconditional generation and fitting to the full or partial observation. The project page is available at https://seva100.github.io/headcraft.