일관된 텍스처 파라미터화를 통한 단일 샷 암시적 형태 변형 가능 얼굴 모델

초록

고품질의 3D 아바타를 애니메이션 가능하고 사용자 정의할 수 있도록 쉽게 생성할 수 있는 방법에 대한 수요가 점점 증가하고 있습니다. 3D 모핑 가능 모델은 편집 및 애니메이션을 위한 직관적인 제어 기능과 단일 뷰 얼굴 재구성의 견고성을 제공하지만, 기하학적 및 외관 세부 사항을 쉽게 포착할 수는 없습니다. 신경 암시적 표현(neural implicit representation) 기반 방법들, 예를 들어 부호 있는 거리 함수(SDF) 또는 신경 방사 필드(neural radiance fields)는 사진과 같은 사실감에 접근하지만 애니메이션하기 어렵고 보지 못한 데이터에 대해 잘 일반화되지 않습니다. 이 문제를 해결하기 위해, 우리는 일반화 가능하고 편집이 직관적인 암시적 3D 모핑 가능 얼굴 모델을 구축하는 새로운 방법을 제안합니다. 고품질 3D 스캔 컬렉션으로부터 학습된 우리의 얼굴 모델은 학습된 SDF와 명시적 UV 텍스처 파라미터화를 통해 기하학, 표정 및 텍스처 잠재 코드로 파라미터화됩니다. 한 번 학습되면, 우리는 단일 야외 이미지에서 아바타를 재구성할 수 있으며, 이를 위해 학습된 사전 지식을 활용하여 이미지를 모델의 잠재 공간으로 투영합니다. 우리의 암시적 모핑 가능 얼굴 모델은 새로운 뷰에서 아바타를 렌더링하고, 표정 코드를 수정하여 얼굴 표정을 애니메이션화하며, 학습된 UV 텍스처 맵에 직접 그림을 그려 텍스처를 편집하는 데 사용할 수 있습니다. 우리는 양적 및 질적으로 우리의 방법이 최신 기술과 비교하여 사진과 같은 사실감, 기하학 및 표정 정확도에서 개선되었음을 보여줍니다.

English

There is a growing demand for the accessible creation of high-quality 3D avatars that are animatable and customizable. Although 3D morphable models provide intuitive control for editing and animation, and robustness for single-view face reconstruction, they cannot easily capture geometric and appearance details. Methods based on neural implicit representations, such as signed distance functions (SDF) or neural radiance fields, approach photo-realism, but are difficult to animate and do not generalize well to unseen data. To tackle this problem, we propose a novel method for constructing implicit 3D morphable face models that are both generalizable and intuitive for editing. Trained from a collection of high-quality 3D scans, our face model is parameterized by geometry, expression, and texture latent codes with a learned SDF and explicit UV texture parameterization. Once trained, we can reconstruct an avatar from a single in-the-wild image by leveraging the learned prior to project the image into the latent space of our model. Our implicit morphable face models can be used to render an avatar from novel views, animate facial expressions by modifying expression codes, and edit textures by directly painting on the learned UV-texture maps. We demonstrate quantitatively and qualitatively that our method improves upon photo-realism, geometry, and expression accuracy compared to state-of-the-art methods.

일관된 텍스처 파라미터화를 통한 단일 샷 암시적 형태 변형 가능 얼굴 모델

Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization

초록

Support