Single-Shot Impliciete Vormbare Gezichten met Consistente Textuurparameterisatie

Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization

May 4, 2023

Auteurs: Connor Z. Lin, Koki Nagano, Jan Kautz, Eric R. Chan, Umar Iqbal, Leonidas Guibas, Gordon Wetzstein, Sameh Khamis

cs.AI

Samenvatting

Er is een groeiende vraag naar de toegankelijke creatie van hoogwaardige 3D-avatars die animeerbaar en aanpasbaar zijn. Hoewel 3D-morfeerbare modellen intuïtieve controle bieden voor bewerking en animatie, en robuustheid voor gezichtsreconstructie vanuit één beeld, kunnen ze gemakkelijk geometrische en uiterlijke details vastleggen. Methoden gebaseerd op neurale impliciete representaties, zoals signed distance functions (SDF) of neurale radiance fields, benaderen foto-realisme, maar zijn moeilijk te animeren en generaliseren niet goed naar ongeziene data. Om dit probleem aan te pakken, stellen we een nieuwe methode voor voor het construeren van impliciete 3D-morfeerbare gezichtsmodellen die zowel generaliseerbaar als intuïtief zijn voor bewerking. Getraind vanuit een verzameling hoogwaardige 3D-scans, is ons gezichtsmodel geparametriseerd door geometrie, expressie en textuur latente codes met een geleerde SDF en expliciete UV-textuurparametrisatie. Eenmaal getraind, kunnen we een avatar reconstrueren vanuit een enkele in-the-wild afbeelding door gebruik te maken van de geleerde prior om de afbeelding te projecteren in de latente ruimte van ons model. Onze impliciete morfeerbare gezichtsmodellen kunnen worden gebruikt om een avatar vanuit nieuwe perspectieven te renderen, gezichtsuitdrukkingen te animeren door expressiecodes aan te passen, en texturen te bewerken door direct te schilderen op de geleerde UV-textuurkaarten. We demonstreren zowel kwantitatief als kwalitatief dat onze methode verbeteringen biedt in foto-realisme, geometrie en expressienauwkeurigheid in vergelijking met state-of-the-art methoden.

English

There is a growing demand for the accessible creation of high-quality 3D avatars that are animatable and customizable. Although 3D morphable models provide intuitive control for editing and animation, and robustness for single-view face reconstruction, they cannot easily capture geometric and appearance details. Methods based on neural implicit representations, such as signed distance functions (SDF) or neural radiance fields, approach photo-realism, but are difficult to animate and do not generalize well to unseen data. To tackle this problem, we propose a novel method for constructing implicit 3D morphable face models that are both generalizable and intuitive for editing. Trained from a collection of high-quality 3D scans, our face model is parameterized by geometry, expression, and texture latent codes with a learned SDF and explicit UV texture parameterization. Once trained, we can reconstruct an avatar from a single in-the-wild image by leveraging the learned prior to project the image into the latent space of our model. Our implicit morphable face models can be used to render an avatar from novel views, animate facial expressions by modifying expression codes, and edit textures by directly painting on the learned UV-texture maps. We demonstrate quantitatively and qualitatively that our method improves upon photo-realism, geometry, and expression accuracy compared to state-of-the-art methods.