FitMe : Modèle Morphable 3D Photoréaliste d'Avatars par Apprentissage Profond

FitMe: Deep Photorealistic 3D Morphable Model Avatars

May 16, 2023

Auteurs: Alexandros Lattas, Stylianos Moschoglou, Stylianos Ploumpis, Baris Gecer, Jiankang Deng, Stefanos Zafeiriou

cs.AI

Résumé

Dans cet article, nous présentons FitMe, un modèle de réflectance faciale et un pipeline d'optimisation de rendu différentiable, qui peut être utilisé pour acquérir des avatars humains rendus en haute fidélité à partir d'une ou plusieurs images. Le modèle se compose d'un générateur multimodal basé sur le style, qui capture l'apparence faciale en termes de réflectance diffuse et spéculaire, et d'un modèle de forme basé sur l'ACP. Nous utilisons un processus de rendu différentiable rapide qui peut être intégré dans un pipeline d'optimisation, tout en obtenant un ombrage facial photoréaliste. Notre processus d'optimisation capture avec précision à la fois la réflectance faciale et la forme avec un haut niveau de détail, en exploitant l'expressivité de la représentation latente basée sur le style et de notre modèle de forme. FitMe atteint des performances de pointe en matière d'acquisition de réflectance et de préservation de l'identité sur des images faciales uniques "en conditions réelles", tout en produisant des résultats impressionnants de type scan, lorsqu'il est alimenté par plusieurs images faciales non contraintes appartenant à la même identité. Contrairement aux reconstructions d'avatars implicites récentes, FitMe ne nécessite qu'une minute et produit des avatars relightables basés sur des maillages et des textures, qui peuvent être utilisés par des applications grand public.

English

In this paper, we introduce FitMe, a facial reflectance model and a differentiable rendering optimization pipeline, that can be used to acquire high-fidelity renderable human avatars from single or multiple images. The model consists of a multi-modal style-based generator, that captures facial appearance in terms of diffuse and specular reflectance, and a PCA-based shape model. We employ a fast differentiable rendering process that can be used in an optimization pipeline, while also achieving photorealistic facial shading. Our optimization process accurately captures both the facial reflectance and shape in high-detail, by exploiting the expressivity of the style-based latent representation and of our shape model. FitMe achieves state-of-the-art reflectance acquisition and identity preservation on single "in-the-wild" facial images, while it produces impressive scan-like results, when given multiple unconstrained facial images pertaining to the same identity. In contrast with recent implicit avatar reconstructions, FitMe requires only one minute and produces relightable mesh and texture-based avatars, that can be used by end-user applications.