HeadCraft: Моделирование вариаций форм с высокой детализацией для анимированных 3DMM

HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

December 21, 2023

Авторы: Artem Sevastopolsky, Philip-William Grassal, Simon Giebenhain, ShahRukh Athar, Luisa Verdoliva, Matthias Niessner

cs.AI

Аннотация

Современные достижения в моделировании человеческой головы позволяют создавать правдоподобные 3D-модели голов с использованием нейронных представлений. Тем не менее, создание полных высокодетализированных моделей голов с явно контролируемой анимацией остается сложной задачей. Кроме того, завершение геометрии головы на основе частичного наблюдения, например, полученного с датчика глубины, с сохранением деталей часто вызывает трудности для существующих методов. Мы представляем генеративную модель для детализированных 3D-мешей голов, основанную на артикулированной 3DMM, которая позволяет одновременно явно управлять анимацией и сохранять высокую детализацию. Наш метод обучается в два этапа. Сначала мы регистрируем параметрическую модель головы с смещениями вершин для каждого меша из недавно представленного набора данных NPHM, содержащего точные 3D-сканы голов. Оцененные смещения запекаются в ручном UV-раскладе. Затем мы обучаем модель StyleGAN для обобщения UV-карт смещений. Разделение параметрической модели и высококачественных смещений вершин позволяет нам анимировать модель и изменять ее семантически. Мы демонстрируем результаты безусловной генерации и подгонки к полным или частичным наблюдениям. Страница проекта доступна по адресу https://seva100.github.io/headcraft.

English

Current advances in human head modeling allow to generate plausible-looking 3D head models via neural representations. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g. coming from a depth sensor, while preserving details is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM which allows explicit animation and high-detail preservation at the same time. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model in order to generalize over the UV maps of displacements. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify it semantically. We demonstrate the results of unconditional generation and fitting to the full or partial observation. The project page is available at https://seva100.github.io/headcraft.