BlendFields: Modelagem Facial Baseada em Exemplos com Poucos Dados

BlendFields: Few-Shot Example-Driven Facial Modeling

May 12, 2023

Autores: Kacper Kania, Stephan J. Garbin, Andrea Tagliasacchi, Virginia Estellers, Kwang Moo Yi, Julien Valentin, Tomasz Trzciński, Marek Kowalski

cs.AI

Resumo

Gerar visualizações fiéis de rostos humanos requer capturar tanto detalhes grosseiros quanto refinados da geometria e aparência facial. Os métodos existentes são baseados em dados, exigindo um extenso corpus de informações não acessível publicamente à comunidade de pesquisa, ou falham em capturar detalhes refinados porque dependem de modelos geométricos faciais que não conseguem representar texturas com granularidade fina, utilizando uma discretização de malha e deformação linear projetada apenas para modelar uma geometria facial grosseira. Introduzimos um método que preenche essa lacuna ao se inspirar em técnicas tradicionais de computação gráfica. Expressões não vistas são modeladas pela combinação de aparências a partir de um conjunto esparso de poses extremas. Essa combinação é realizada medindo mudanças volumétricas locais nessas expressões e reproduzindo localmente sua aparência sempre que uma expressão similar é realizada durante o teste. Mostramos que nosso método generaliza para expressões não vistas, adicionando efeitos de granularidade fina sobre deformações volumétricas suaves de um rosto, e demonstramos como ele se generaliza além de rostos.

English

Generating faithful visualizations of human faces requires capturing both coarse and fine-level details of the face geometry and appearance. Existing methods are either data-driven, requiring an extensive corpus of data not publicly accessible to the research community, or fail to capture fine details because they rely on geometric face models that cannot represent fine-grained details in texture with a mesh discretization and linear deformation designed to model only a coarse face geometry. We introduce a method that bridges this gap by drawing inspiration from traditional computer graphics techniques. Unseen expressions are modeled by blending appearance from a sparse set of extreme poses. This blending is performed by measuring local volumetric changes in those expressions and locally reproducing their appearance whenever a similar expression is performed at test time. We show that our method generalizes to unseen expressions, adding fine-grained effects on top of smooth volumetric deformations of a face, and demonstrate how it generalizes beyond faces.