Einzelaufnahme impliziter morphierbarer Gesichter mit konsistenter Texturparametrisierung

Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization

May 4, 2023

Autoren: Connor Z. Lin, Koki Nagano, Jan Kautz, Eric R. Chan, Umar Iqbal, Leonidas Guibas, Gordon Wetzstein, Sameh Khamis

cs.AI

Zusammenfassung

Es besteht eine wachsende Nachfrage nach der zugänglichen Erstellung von hochwertigen, animierbaren und anpassbaren 3D-Avataren. Obwohl 3D-morphable Modelle eine intuitive Steuerung für Bearbeitung und Animation sowie Robustheit bei der Rekonstruktion von Gesichtern aus Einzelansichten bieten, können sie geometrische und Erscheinungsdetails nur schwer erfassen. Methoden, die auf neuronalen impliziten Darstellungen wie Signed Distance Functions (SDF) oder Neural Radiance Fields basieren, erreichen Foto-Realismus, sind jedoch schwer zu animieren und generalisieren schlecht auf unbekannte Daten. Um dieses Problem zu lösen, schlagen wir eine neuartige Methode zur Konstruktion impliziter 3D-morphable Gesichtsmodelle vor, die sowohl generalisierbar als auch intuitiv für die Bearbeitung sind. Unser Gesichtsmodell, das aus einer Sammlung hochwertiger 3D-Scans trainiert wird, ist durch Geometrie-, Ausdrucks- und Textur-Latent-Codes mit einer gelernten SDF und expliziter UV-Textur-Parametrisierung charakterisiert. Nach dem Training können wir einen Avatar aus einem einzelnen „in-the-wild“-Bild rekonstruieren, indem wir das gelernte Prior nutzen, um das Bild in den latenten Raum unseres Modells zu projizieren. Unsere impliziten morphable Gesichtsmodelle können verwendet werden, um einen Avatar aus neuen Blickwinkeln zu rendern, Gesichtsausdrücke durch die Modifikation von Ausdrucks-Codes zu animieren und Texturen durch direktes Bemalen der gelernten UV-Texturkarten zu bearbeiten. Wir zeigen quantitativ und qualitativ, dass unsere Methode im Vergleich zu state-of-the-art-Verfahren die Foto-Realismus, Geometrie und Ausdrucksgenauigkeit verbessert.

English

There is a growing demand for the accessible creation of high-quality 3D avatars that are animatable and customizable. Although 3D morphable models provide intuitive control for editing and animation, and robustness for single-view face reconstruction, they cannot easily capture geometric and appearance details. Methods based on neural implicit representations, such as signed distance functions (SDF) or neural radiance fields, approach photo-realism, but are difficult to animate and do not generalize well to unseen data. To tackle this problem, we propose a novel method for constructing implicit 3D morphable face models that are both generalizable and intuitive for editing. Trained from a collection of high-quality 3D scans, our face model is parameterized by geometry, expression, and texture latent codes with a learned SDF and explicit UV texture parameterization. Once trained, we can reconstruct an avatar from a single in-the-wild image by leveraging the learned prior to project the image into the latent space of our model. Our implicit morphable face models can be used to render an avatar from novel views, animate facial expressions by modifying expression codes, and edit textures by directly painting on the learned UV-texture maps. We demonstrate quantitatively and qualitatively that our method improves upon photo-realism, geometry, and expression accuracy compared to state-of-the-art methods.