BlendFields : Modélisation faciale guidée par exemples en apprentissage peu supervisé

BlendFields: Few-Shot Example-Driven Facial Modeling

May 12, 2023

Auteurs: Kacper Kania, Stephan J. Garbin, Andrea Tagliasacchi, Virginia Estellers, Kwang Moo Yi, Julien Valentin, Tomasz Trzciński, Marek Kowalski

cs.AI

Résumé

La génération de visualisations fidèles de visages humains nécessite de capturer à la fois les détails grossiers et fins de la géométrie et de l'apparence du visage. Les méthodes existantes sont soit basées sur les données, nécessitant un corpus étendu de données non accessibles publiquement à la communauté de recherche, soit incapables de capturer les détails fins car elles s'appuient sur des modèles géométriques du visage qui ne peuvent pas représenter les détails granulaires de la texture avec une discrétisation en maillage et une déformation linéaire conçues pour modéliser uniquement une géométrie grossière du visage. Nous introduisons une méthode qui comble cette lacune en s'inspirant des techniques traditionnelles de l'informatique graphique. Les expressions inédites sont modélisées en mélangeant l'apparence à partir d'un ensemble restreint de poses extrêmes. Ce mélange est effectué en mesurant les changements volumétriques locaux dans ces expressions et en reproduisant localement leur apparence chaque fois qu'une expression similaire est effectuée lors des tests. Nous montrons que notre méthode généralise aux expressions inédites, ajoutant des effets granulaires sur des déformations volumétriques lisses d'un visage, et démontrons comment elle généralise au-delà des visages.

English

Generating faithful visualizations of human faces requires capturing both coarse and fine-level details of the face geometry and appearance. Existing methods are either data-driven, requiring an extensive corpus of data not publicly accessible to the research community, or fail to capture fine details because they rely on geometric face models that cannot represent fine-grained details in texture with a mesh discretization and linear deformation designed to model only a coarse face geometry. We introduce a method that bridges this gap by drawing inspiration from traditional computer graphics techniques. Unseen expressions are modeled by blending appearance from a sparse set of extreme poses. This blending is performed by measuring local volumetric changes in those expressions and locally reproducing their appearance whenever a similar expression is performed at test time. We show that our method generalizes to unseen expressions, adding fine-grained effects on top of smooth volumetric deformations of a face, and demonstrate how it generalizes beyond faces.