Faces Implícitas Morfáveis em Única Etapa com Parametrização de Textura Consistente

Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization

May 4, 2023

Autores: Connor Z. Lin, Koki Nagano, Jan Kautz, Eric R. Chan, Umar Iqbal, Leonidas Guibas, Gordon Wetzstein, Sameh Khamis

cs.AI

Resumo

Há uma demanda crescente pela criação acessível de avatares 3D de alta qualidade que sejam animáveis e personalizáveis. Embora os modelos morfáveis 3D ofereçam controle intuitivo para edição e animação, além de robustez para reconstrução facial a partir de uma única visão, eles não conseguem capturar facilmente detalhes geométricos e de aparência. Métodos baseados em representações implícitas neurais, como funções de distância com sinal (SDF) ou campos de radiação neural, aproximam-se do foto-realismo, mas são difíceis de animar e não generalizam bem para dados não vistos. Para resolver esse problema, propomos um novo método para construir modelos faciais morfáveis 3D implícitos que são tanto generalizáveis quanto intuitivos para edição. Treinado a partir de uma coleção de escaneamentos 3D de alta qualidade, nosso modelo facial é parametrizado por códigos latentes de geometria, expressão e textura, com uma SDF aprendida e parametrização explícita de textura UV. Uma vez treinado, podemos reconstruir um avatar a partir de uma única imagem "in-the-wild" aproveitando o conhecimento prévio aprendido para projetar a imagem no espaço latente do nosso modelo. Nossos modelos faciais morfáveis implícitos podem ser usados para renderizar um avatar a partir de novas perspectivas, animar expressões faciais modificando os códigos de expressão e editar texturas pintando diretamente nos mapas de textura UV aprendidos. Demonstramos quantitativa e qualitativamente que nosso método melhora o foto-realismo, a geometria e a precisão das expressões em comparação com os métodos mais avançados atualmente.

English

There is a growing demand for the accessible creation of high-quality 3D avatars that are animatable and customizable. Although 3D morphable models provide intuitive control for editing and animation, and robustness for single-view face reconstruction, they cannot easily capture geometric and appearance details. Methods based on neural implicit representations, such as signed distance functions (SDF) or neural radiance fields, approach photo-realism, but are difficult to animate and do not generalize well to unseen data. To tackle this problem, we propose a novel method for constructing implicit 3D morphable face models that are both generalizable and intuitive for editing. Trained from a collection of high-quality 3D scans, our face model is parameterized by geometry, expression, and texture latent codes with a learned SDF and explicit UV texture parameterization. Once trained, we can reconstruct an avatar from a single in-the-wild image by leveraging the learned prior to project the image into the latent space of our model. Our implicit morphable face models can be used to render an avatar from novel views, animate facial expressions by modifying expression codes, and edit textures by directly painting on the learned UV-texture maps. We demonstrate quantitatively and qualitatively that our method improves upon photo-realism, geometry, and expression accuracy compared to state-of-the-art methods.