Caras Implícitas Morfeables de Un Solo Disparo con Parametrización de Textura Consistente

Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization

May 4, 2023

Autores: Connor Z. Lin, Koki Nagano, Jan Kautz, Eric R. Chan, Umar Iqbal, Leonidas Guibas, Gordon Wetzstein, Sameh Khamis

cs.AI

Resumen

Existe una demanda creciente para la creación accesible de avatares 3D de alta calidad que sean animables y personalizables. Aunque los modelos morfables 3D ofrecen un control intuitivo para la edición y animación, además de robustez para la reconstrucción facial a partir de una sola vista, no pueden capturar fácilmente detalles geométricos y de apariencia. Los métodos basados en representaciones implícitas neuronales, como las funciones de distancia con signo (SDF) o los campos de radiancia neurales, se acercan al fotorrealismo, pero son difíciles de animar y no generalizan bien a datos no vistos. Para abordar este problema, proponemos un método novedoso para construir modelos morfables faciales implícitos en 3D que sean tanto generalizables como intuitivos para la edición. Entrenado a partir de una colección de escaneos 3D de alta calidad, nuestro modelo facial está parametrizado por códigos latentes de geometría, expresión y textura, con una SDF aprendida y una parametrización explícita de textura UV. Una vez entrenado, podemos reconstruir un avatar a partir de una sola imagen en condiciones no controladas aprovechando el conocimiento previo aprendido para proyectar la imagen en el espacio latente de nuestro modelo. Nuestros modelos morfables faciales implícitos pueden usarse para renderizar un avatar desde nuevas perspectivas, animar expresiones faciales modificando los códigos de expresión y editar texturas pintando directamente sobre los mapas de textura UV aprendidos. Demostramos cuantitativa y cualitativamente que nuestro método mejora el fotorrealismo, la geometría y la precisión de las expresiones en comparación con los métodos más avanzados.

English

There is a growing demand for the accessible creation of high-quality 3D avatars that are animatable and customizable. Although 3D morphable models provide intuitive control for editing and animation, and robustness for single-view face reconstruction, they cannot easily capture geometric and appearance details. Methods based on neural implicit representations, such as signed distance functions (SDF) or neural radiance fields, approach photo-realism, but are difficult to animate and do not generalize well to unseen data. To tackle this problem, we propose a novel method for constructing implicit 3D morphable face models that are both generalizable and intuitive for editing. Trained from a collection of high-quality 3D scans, our face model is parameterized by geometry, expression, and texture latent codes with a learned SDF and explicit UV texture parameterization. Once trained, we can reconstruct an avatar from a single in-the-wild image by leveraging the learned prior to project the image into the latent space of our model. Our implicit morphable face models can be used to render an avatar from novel views, animate facial expressions by modifying expression codes, and edit textures by directly painting on the learned UV-texture maps. We demonstrate quantitatively and qualitatively that our method improves upon photo-realism, geometry, and expression accuracy compared to state-of-the-art methods.