FitMe: Tiefenphotorealistische 3D-Morphable-Model-Avatare

FitMe: Deep Photorealistic 3D Morphable Model Avatars

May 16, 2023

Autoren: Alexandros Lattas, Stylianos Moschoglou, Stylianos Ploumpis, Baris Gecer, Jiankang Deng, Stefanos Zafeiriou

cs.AI

Zusammenfassung

In diesem Artikel stellen wir FitMe vor, ein Modell für die Gesichtsreflektanz und eine Pipeline für differentielles Rendering, das zur Erstellung hochauflösender, renderbarer menschlicher Avatare aus einzelnen oder mehreren Bildern verwendet werden kann. Das Modell besteht aus einem multimodalen, stilbasierten Generator, der das Gesichtserscheinungsbild in Bezug auf diffuse und spekulare Reflektanz erfasst, sowie einem PCA-basierten Formmodell. Wir verwenden einen schnellen differentiellen Rendering-Prozess, der in einer Optimierungspipeline eingesetzt werden kann und gleichzeitig fotorealistische Gesichtsbeleuchtung erreicht. Unser Optimierungsprozess erfasst sowohl die Gesichtsreflektanz als auch die Form präzise in hoher Detailgenauigkeit, indem er die Ausdrucksstärke der stilbasierten latenten Repräsentation und unseres Formmodells nutzt. FitMe erreicht state-of-the-art Ergebnisse bei der Reflektanzakquisition und Identitätserhaltung auf einzelnen „in-the-wild“ Gesichtsbildern, während es beeindruckende, scanähnliche Ergebnisse liefert, wenn mehrere ungezwungene Gesichtsbilder derselben Identität verwendet werden. Im Gegensatz zu neueren impliziten Avatar-Rekonstruktionen benötigt FitMe nur eine Minute und erzeugt beleuchtbare, mesh- und texturbasierte Avatare, die von Endbenutzeranwendungen genutzt werden können.

English

In this paper, we introduce FitMe, a facial reflectance model and a differentiable rendering optimization pipeline, that can be used to acquire high-fidelity renderable human avatars from single or multiple images. The model consists of a multi-modal style-based generator, that captures facial appearance in terms of diffuse and specular reflectance, and a PCA-based shape model. We employ a fast differentiable rendering process that can be used in an optimization pipeline, while also achieving photorealistic facial shading. Our optimization process accurately captures both the facial reflectance and shape in high-detail, by exploiting the expressivity of the style-based latent representation and of our shape model. FitMe achieves state-of-the-art reflectance acquisition and identity preservation on single "in-the-wild" facial images, while it produces impressive scan-like results, when given multiple unconstrained facial images pertaining to the same identity. In contrast with recent implicit avatar reconstructions, FitMe requires only one minute and produces relightable mesh and texture-based avatars, that can be used by end-user applications.