BlendFields: Wenig-Beispiel-gestützte Gesichtsmodellierung

BlendFields: Few-Shot Example-Driven Facial Modeling

May 12, 2023

Autoren: Kacper Kania, Stephan J. Garbin, Andrea Tagliasacchi, Virginia Estellers, Kwang Moo Yi, Julien Valentin, Tomasz Trzciński, Marek Kowalski

cs.AI

Zusammenfassung

Die Erzeugung treuer Visualisierungen menschlicher Gesichter erfordert die Erfassung sowohl grober als auch feiner Details der Gesichtsgeometrie und -erscheinung. Bestehende Methoden sind entweder datengetrieben und benötigen einen umfangreichen Datensatz, der der Forschungsgemeinschaft nicht öffentlich zugänglich ist, oder sie erfassen keine feinen Details, da sie sich auf geometrische Gesichtsmodelle stützen, die fein abgestufte Texturen aufgrund einer Mesh-Diskretisierung und linearen Deformation, die nur eine grobe Gesichtsgeometrie modellieren soll, nicht darstellen können. Wir stellen eine Methode vor, die diese Lücke schließt, indem sie sich von traditionellen Techniken der Computergrafik inspirieren lässt. Unbekannte Ausdrücke werden modelliert, indem das Erscheinungsbild aus einer spärlichen Menge extremer Posen gemischt wird. Dieses Mischen erfolgt durch die Messung lokaler volumetrischer Veränderungen in diesen Ausdrücken und die lokale Reproduktion ihres Erscheinungsbildes, sobald ein ähnlicher Ausdruck zur Testzeit ausgeführt wird. Wir zeigen, dass unsere Methode auf unbekannte Ausdrücke verallgemeinert, fein abgestufte Effekte auf glatte volumetrische Deformationen eines Gesichts hinzufügt, und demonstrieren, wie sie über Gesichter hinaus verallgemeinert.

English

Generating faithful visualizations of human faces requires capturing both coarse and fine-level details of the face geometry and appearance. Existing methods are either data-driven, requiring an extensive corpus of data not publicly accessible to the research community, or fail to capture fine details because they rely on geometric face models that cannot represent fine-grained details in texture with a mesh discretization and linear deformation designed to model only a coarse face geometry. We introduce a method that bridges this gap by drawing inspiration from traditional computer graphics techniques. Unseen expressions are modeled by blending appearance from a sparse set of extreme poses. This blending is performed by measuring local volumetric changes in those expressions and locally reproducing their appearance whenever a similar expression is performed at test time. We show that our method generalizes to unseen expressions, adding fine-grained effects on top of smooth volumetric deformations of a face, and demonstrate how it generalizes beyond faces.