BlendFields: Modelado Facial Basado en Pocos Ejemplos

BlendFields: Few-Shot Example-Driven Facial Modeling

May 12, 2023

Autores: Kacper Kania, Stephan J. Garbin, Andrea Tagliasacchi, Virginia Estellers, Kwang Moo Yi, Julien Valentin, Tomasz Trzciński, Marek Kowalski

cs.AI

Resumen

Generar visualizaciones fieles de rostros humanos requiere capturar tanto los detalles generales como los más finos de la geometría y apariencia facial. Los métodos existentes son impulsados por datos, lo que exige un extenso corpus de información no accesible públicamente para la comunidad investigadora, o no logran capturar detalles finos porque dependen de modelos geométricos faciales que no pueden representar texturas detalladas con una discretización de malla y deformación lineal diseñada para modelar únicamente una geometría facial general. Introducimos un método que cierra esta brecha inspirándose en técnicas tradicionales de gráficos por computadora. Las expresiones no vistas se modelan combinando la apariencia de un conjunto reducido de poses extremas. Esta combinación se realiza midiendo cambios volumétricos locales en esas expresiones y reproduciendo localmente su apariencia cuando se realiza una expresión similar durante las pruebas. Demostramos que nuestro método generaliza a expresiones no vistas, añadiendo efectos detallados sobre deformaciones volumétricas suaves de un rostro, y mostramos cómo se generaliza más allá de los rostros.

English

Generating faithful visualizations of human faces requires capturing both coarse and fine-level details of the face geometry and appearance. Existing methods are either data-driven, requiring an extensive corpus of data not publicly accessible to the research community, or fail to capture fine details because they rely on geometric face models that cannot represent fine-grained details in texture with a mesh discretization and linear deformation designed to model only a coarse face geometry. We introduce a method that bridges this gap by drawing inspiration from traditional computer graphics techniques. Unseen expressions are modeled by blending appearance from a sparse set of extreme poses. This blending is performed by measuring local volumetric changes in those expressions and locally reproducing their appearance whenever a similar expression is performed at test time. We show that our method generalizes to unseen expressions, adding fine-grained effects on top of smooth volumetric deformations of a face, and demonstrate how it generalizes beyond faces.