HeadCraft: 애니메이션 3DMM을 위한 고해상도 형태 변형 모델링

HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

December 21, 2023

저자: Artem Sevastopolsky, Philip-William Grassal, Simon Giebenhain, ShahRukh Athar, Luisa Verdoliva, Matthias Niessner

cs.AI

초록

현재 인간 두부 모델링의 발전으로 신경망 표현을 통해 사실적인 3D 두부 모델을 생성할 수 있게 되었습니다. 그러나 명시적으로 제어 가능한 애니메이션과 함께 완전한 고해상도 두부 모델을 구축하는 것은 여전히 문제로 남아 있습니다. 또한, 깊이 센서와 같은 부분적 관측을 기반으로 세부 사항을 보존하면서 두부 형상을 완성하는 것은 기존 방법들에 있어서 종종 문제가 됩니다. 우리는 명시적 애니메이션과 고해상도 세부 사항 보존을 동시에 가능하게 하는 관절형 3DMM(3D Morphable Model) 위에 세부적인 3D 두부 메쉬를 위한 생성 모델을 소개합니다. 우리의 방법은 두 단계로 학습됩니다. 먼저, 정확한 3D 두부 스캔 데이터셋인 NPHM 데이터셋의 각 메쉬에 정점 변위를 가진 파라메트릭 두부 모델을 등록합니다. 추정된 변위는 수작업으로 제작된 UV 레이아웃에 적용됩니다. 두 번째로, 변위 UV 맵을 일반화하기 위해 StyleGAN 모델을 학습시킵니다. 파라메트릭 모델과 고품질 정점 변위의 분해를 통해 모델을 애니메이션화하고 의미적으로 수정할 수 있습니다. 우리는 무조건적 생성 및 전체 또는 부분 관측에 대한 피팅 결과를 보여줍니다. 프로젝트 페이지는 https://seva100.github.io/headcraft에서 확인할 수 있습니다.

English

Current advances in human head modeling allow to generate plausible-looking 3D head models via neural representations. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g. coming from a depth sensor, while preserving details is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM which allows explicit animation and high-detail preservation at the same time. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model in order to generalize over the UV maps of displacements. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify it semantically. We demonstrate the results of unconditional generation and fitting to the full or partial observation. The project page is available at https://seva100.github.io/headcraft.