BlendFields: Gezichtsmodellering met weinig voorbeelden gebaseerd op voorbeelden

BlendFields: Few-Shot Example-Driven Facial Modeling

May 12, 2023

Auteurs: Kacper Kania, Stephan J. Garbin, Andrea Tagliasacchi, Virginia Estellers, Kwang Moo Yi, Julien Valentin, Tomasz Trzciński, Marek Kowalski

cs.AI

Samenvatting

Het genereren van nauwkeurige visualisaties van menselijke gezichten vereist het vastleggen van zowel grove als fijnmazige details van de gezichtsgeometrie en het uiterlijk. Bestaande methoden zijn ofwel data-gedreven, wat een uitgebreid corpus aan gegevens vereist dat niet publiekelijk toegankelijk is voor de onderzoeksgemeenschap, of ze slagen er niet in om fijne details vast te leggen omdat ze vertrouwen op geometrische gezichtsmodellen die geen fijnmazige details in de textuur kunnen weergeven met een mesh-discretisatie en lineaire vervorming die alleen is ontworpen om een grove gezichtsgeometrie te modelleren. Wij introduceren een methode die deze kloof overbrugt door inspiratie te putten uit traditionele computer graphics-technieken. Ongeziene uitdrukkingen worden gemodelleerd door het mengen van het uiterlijk van een beperkte set extreme poses. Dit mengen wordt uitgevoerd door lokale volumetrische veranderingen in die uitdrukkingen te meten en hun uiterlijk lokaal te reproduceren wanneer een vergelijkbare uitdrukking wordt uitgevoerd tijdens de testfase. We tonen aan dat onze methode generaliseert naar ongeziene uitdrukkingen, waarbij fijnmazige effecten worden toegevoegd bovenop soepele volumetrische vervormingen van een gezicht, en demonstreren hoe het zich uitbreidt naar andere objecten dan gezichten.

English

Generating faithful visualizations of human faces requires capturing both coarse and fine-level details of the face geometry and appearance. Existing methods are either data-driven, requiring an extensive corpus of data not publicly accessible to the research community, or fail to capture fine details because they rely on geometric face models that cannot represent fine-grained details in texture with a mesh discretization and linear deformation designed to model only a coarse face geometry. We introduce a method that bridges this gap by drawing inspiration from traditional computer graphics techniques. Unseen expressions are modeled by blending appearance from a sparse set of extreme poses. This blending is performed by measuring local volumetric changes in those expressions and locally reproducing their appearance whenever a similar expression is performed at test time. We show that our method generalizes to unseen expressions, adding fine-grained effects on top of smooth volumetric deformations of a face, and demonstrate how it generalizes beyond faces.