FitMe: Diepgaande fotorealistische 3D morfeerbare model avatars

FitMe: Deep Photorealistic 3D Morphable Model Avatars

May 16, 2023

Auteurs: Alexandros Lattas, Stylianos Moschoglou, Stylianos Ploumpis, Baris Gecer, Jiankang Deng, Stefanos Zafeiriou

cs.AI

Samenvatting

In dit artikel introduceren we FitMe, een faciale reflectantiemodel en een differentieerbaar renderingsoptimalisatiepijplijn, die kan worden gebruikt om hoogwaardige renderbare menselijke avatars te verkrijgen uit enkele of meerdere afbeeldingen. Het model bestaat uit een multimodale, op stijl gebaseerde generator, die het uiterlijk van het gezicht vastlegt in termen van diffuse en speculaire reflectantie, en een op PCA gebaseerd vormmodel. We gebruiken een snel differentieerbaar renderingsproces dat kan worden ingezet in een optimalisatiepijplijn, terwijl het ook fotorealistische gezichtsschaduw bereikt. Ons optimalisatieproces legt zowel de faciale reflectantie als de vorm nauwkeurig in detail vast, door gebruik te maken van de expressiviteit van de op stijl gebaseerde latente representatie en ons vormmodel. FitMe behaalt state-of-the-art resultaten in reflectantie-acquisitie en identiteitsbehoud bij enkele "in-the-wild" gezichtsafbeeldingen, terwijl het indrukwekkende scan-achtige resultaten produceert wanneer meerdere onbeperkte gezichtsafbeeldingen van dezelfde identiteit worden gebruikt. In tegenstelling tot recente impliciete avatarreconstructies, vereist FitMe slechts één minuut en produceert het herlichtbare mesh- en textuurgebaseerde avatars, die kunnen worden gebruikt door eindgebruikerstoepassingen.

English

In this paper, we introduce FitMe, a facial reflectance model and a differentiable rendering optimization pipeline, that can be used to acquire high-fidelity renderable human avatars from single or multiple images. The model consists of a multi-modal style-based generator, that captures facial appearance in terms of diffuse and specular reflectance, and a PCA-based shape model. We employ a fast differentiable rendering process that can be used in an optimization pipeline, while also achieving photorealistic facial shading. Our optimization process accurately captures both the facial reflectance and shape in high-detail, by exploiting the expressivity of the style-based latent representation and of our shape model. FitMe achieves state-of-the-art reflectance acquisition and identity preservation on single "in-the-wild" facial images, while it produces impressive scan-like results, when given multiple unconstrained facial images pertaining to the same identity. In contrast with recent implicit avatar reconstructions, FitMe requires only one minute and produces relightable mesh and texture-based avatars, that can be used by end-user applications.