FitMe: Modelos Morfables 3D Fotorealistas Profundos para Avatares

FitMe: Deep Photorealistic 3D Morphable Model Avatars

May 16, 2023

Autores: Alexandros Lattas, Stylianos Moschoglou, Stylianos Ploumpis, Baris Gecer, Jiankang Deng, Stefanos Zafeiriou

cs.AI

Resumen

En este artículo presentamos FitMe, un modelo de reflectancia facial y una canalización de optimización de renderizado diferenciable, que puede utilizarse para adquirir avatares humanos renderizables de alta fidelidad a partir de una o múltiples imágenes. El modelo consta de un generador multimodal basado en estilos, que captura la apariencia facial en términos de reflectancia difusa y especular, y un modelo de forma basado en PCA. Empleamos un proceso rápido de renderizado diferenciable que puede utilizarse en una canalización de optimización, al mismo tiempo que logra sombreado facial fotorrealista. Nuestro proceso de optimización captura con precisión tanto la reflectancia como la forma facial en alto detalle, aprovechando la expresividad de la representación latente basada en estilos y de nuestro modelo de forma. FitMe logra una adquisición de reflectancia y preservación de identidad de última generación en imágenes faciales únicas "en la naturaleza", mientras produce resultados impresionantes similares a escaneos cuando se le proporcionan múltiples imágenes faciales no restringidas pertenecientes a la misma identidad. En contraste con las reconstrucciones recientes de avatares implícitos, FitMe requiere solo un minuto y produce avatares relumbrantes basados en mallas y texturas, que pueden ser utilizados por aplicaciones de usuario final.

English

In this paper, we introduce FitMe, a facial reflectance model and a differentiable rendering optimization pipeline, that can be used to acquire high-fidelity renderable human avatars from single or multiple images. The model consists of a multi-modal style-based generator, that captures facial appearance in terms of diffuse and specular reflectance, and a PCA-based shape model. We employ a fast differentiable rendering process that can be used in an optimization pipeline, while also achieving photorealistic facial shading. Our optimization process accurately captures both the facial reflectance and shape in high-detail, by exploiting the expressivity of the style-based latent representation and of our shape model. FitMe achieves state-of-the-art reflectance acquisition and identity preservation on single "in-the-wild" facial images, while it produces impressive scan-like results, when given multiple unconstrained facial images pertaining to the same identity. In contrast with recent implicit avatar reconstructions, FitMe requires only one minute and produces relightable mesh and texture-based avatars, that can be used by end-user applications.