Volti Impliciti Morfabili a Singolo Colpo con Parametrizzazione di Texture Consistente

Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization

May 4, 2023

Autori: Connor Z. Lin, Koki Nagano, Jan Kautz, Eric R. Chan, Umar Iqbal, Leonidas Guibas, Gordon Wetzstein, Sameh Khamis

cs.AI

Abstract

C'è una crescente richiesta per la creazione accessibile di avatar 3D di alta qualità che siano animabili e personalizzabili. Sebbene i modelli morfabili 3D offrano un controllo intuitivo per l'editing e l'animazione, e robustezza per la ricostruzione facciale da singola vista, non riescono a catturare facilmente i dettagli geometrici e di aspetto. I metodi basati su rappresentazioni neurali implicite, come le funzioni di distanza con segno (SDF) o i campi di radianza neurali, si avvicinano al foto-realismo, ma sono difficili da animare e non generalizzano bene a dati non visti. Per affrontare questo problema, proponiamo un nuovo metodo per costruire modelli facciali morfabili 3D impliciti che siano sia generalizzabili che intuitivi per l'editing. Addestrato da una raccolta di scansioni 3D di alta qualità, il nostro modello facciale è parametrizzato da codici latenti di geometria, espressione e texture con una SDF appresa e una parametrizzazione esplicita della texture UV. Una volta addestrato, possiamo ricostruire un avatar da una singola immagine in condizioni reali sfruttando il precedente appreso per proiettare l'immagine nello spazio latente del nostro modello. I nostri modelli facciali morfabili impliciti possono essere utilizzati per renderizzare un avatar da nuove angolazioni, animare le espressioni facciali modificando i codici di espressione e modificare le texture dipingendo direttamente sulle mappe UV-texture apprese. Dimostriamo quantitativamente e qualitativamente che il nostro metodo migliora il foto-realismo, la geometria e l'accuratezza delle espressioni rispetto ai metodi all'avanguardia.

English

There is a growing demand for the accessible creation of high-quality 3D avatars that are animatable and customizable. Although 3D morphable models provide intuitive control for editing and animation, and robustness for single-view face reconstruction, they cannot easily capture geometric and appearance details. Methods based on neural implicit representations, such as signed distance functions (SDF) or neural radiance fields, approach photo-realism, but are difficult to animate and do not generalize well to unseen data. To tackle this problem, we propose a novel method for constructing implicit 3D morphable face models that are both generalizable and intuitive for editing. Trained from a collection of high-quality 3D scans, our face model is parameterized by geometry, expression, and texture latent codes with a learned SDF and explicit UV texture parameterization. Once trained, we can reconstruct an avatar from a single in-the-wild image by leveraging the learned prior to project the image into the latent space of our model. Our implicit morphable face models can be used to render an avatar from novel views, animate facial expressions by modifying expression codes, and edit textures by directly painting on the learned UV-texture maps. We demonstrate quantitatively and qualitatively that our method improves upon photo-realism, geometry, and expression accuracy compared to state-of-the-art methods.