BlendFields: Modellazione Facciale Guidata da Esempi con Pochi Dati

BlendFields: Few-Shot Example-Driven Facial Modeling

May 12, 2023

Autori: Kacper Kania, Stephan J. Garbin, Andrea Tagliasacchi, Virginia Estellers, Kwang Moo Yi, Julien Valentin, Tomasz Trzciński, Marek Kowalski

cs.AI

Abstract

Generare visualizzazioni fedeli dei volti umani richiede la cattura sia dei dettagli generali che di quelli fini della geometria e dell'aspetto del viso. I metodi esistenti sono basati sui dati, necessitando di un ampio corpus di informazioni non accessibile pubblicamente alla comunità di ricerca, oppure non riescono a catturare i dettagli fini perché si affidano a modelli geometrici del viso che non possono rappresentare dettagli granulari nella texture con una discretizzazione a maglia e una deformazione lineare progettata per modellare solo una geometria del viso approssimativa. Introduciamo un metodo che colma questa lacuna traendo ispirazione dalle tecniche tradizionali della computer grafica. Le espressioni non viste vengono modellate fondendo l'aspetto da un insieme sparso di pose estreme. Questa fusione viene eseguita misurando i cambiamenti volumetrici locali in quelle espressioni e riproducendo localmente il loro aspetto ogni volta che viene eseguita un'espressione simile durante il test. Mostriamo che il nostro metodo si generalizza a espressioni non viste, aggiungendo effetti di dettaglio fine su deformazioni volumetriche fluide di un viso, e dimostriamo come si generalizza oltre i volti.

English

Generating faithful visualizations of human faces requires capturing both coarse and fine-level details of the face geometry and appearance. Existing methods are either data-driven, requiring an extensive corpus of data not publicly accessible to the research community, or fail to capture fine details because they rely on geometric face models that cannot represent fine-grained details in texture with a mesh discretization and linear deformation designed to model only a coarse face geometry. We introduce a method that bridges this gap by drawing inspiration from traditional computer graphics techniques. Unseen expressions are modeled by blending appearance from a sparse set of extreme poses. This blending is performed by measuring local volumetric changes in those expressions and locally reproducing their appearance whenever a similar expression is performed at test time. We show that our method generalizes to unseen expressions, adding fine-grained effects on top of smooth volumetric deformations of a face, and demonstrate how it generalizes beyond faces.