Visages Implicites Morphables en une seule passe avec paramétrisation de texture cohérente

Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization

May 4, 2023

Auteurs: Connor Z. Lin, Koki Nagano, Jan Kautz, Eric R. Chan, Umar Iqbal, Leonidas Guibas, Gordon Wetzstein, Sameh Khamis

cs.AI

Résumé

Il existe une demande croissante pour la création accessible d'avatars 3D de haute qualité, animables et personnalisables. Bien que les modèles morphables 3D offrent un contrôle intuitif pour l'édition et l'animation, ainsi qu'une robustesse pour la reconstruction faciale à partir d'une seule vue, ils ne parviennent pas à capturer facilement les détails géométriques et d'apparence. Les méthodes basées sur des représentations implicites neuronales, telles que les fonctions de distance signée (SDF) ou les champs de radiance neuronaux, approchent le photoréalisme, mais sont difficiles à animer et ne généralisent pas bien aux données non vues. Pour résoudre ce problème, nous proposons une nouvelle méthode de construction de modèles morphables faciaux implicites 3D, à la fois généralisables et intuitifs pour l'édition. Entraîné à partir d'une collection de scans 3D de haute qualité, notre modèle facial est paramétré par des codes latents de géométrie, d'expression et de texture, avec une SDF apprise et une paramétrisation explicite de texture UV. Une fois entraîné, nous pouvons reconstruire un avatar à partir d'une seule image en conditions réelles en exploitant l'a priori appris pour projeter l'image dans l'espace latent de notre modèle. Nos modèles morphables faciaux implicites peuvent être utilisés pour rendre un avatar sous de nouveaux angles, animer les expressions faciales en modifiant les codes d'expression, et éditer les textures en peignant directement sur les cartes de texture UV apprises. Nous démontrons quantitativement et qualitativement que notre méthode améliore le photoréalisme, la géométrie et la précision des expressions par rapport aux méthodes de pointe.

English

There is a growing demand for the accessible creation of high-quality 3D avatars that are animatable and customizable. Although 3D morphable models provide intuitive control for editing and animation, and robustness for single-view face reconstruction, they cannot easily capture geometric and appearance details. Methods based on neural implicit representations, such as signed distance functions (SDF) or neural radiance fields, approach photo-realism, but are difficult to animate and do not generalize well to unseen data. To tackle this problem, we propose a novel method for constructing implicit 3D morphable face models that are both generalizable and intuitive for editing. Trained from a collection of high-quality 3D scans, our face model is parameterized by geometry, expression, and texture latent codes with a learned SDF and explicit UV texture parameterization. Once trained, we can reconstruct an avatar from a single in-the-wild image by leveraging the learned prior to project the image into the latent space of our model. Our implicit morphable face models can be used to render an avatar from novel views, animate facial expressions by modifying expression codes, and edit textures by directly painting on the learned UV-texture maps. We demonstrate quantitatively and qualitatively that our method improves upon photo-realism, geometry, and expression accuracy compared to state-of-the-art methods.