BlendFields: Моделирование лица на основе нескольких примеров

BlendFields: Few-Shot Example-Driven Facial Modeling

May 12, 2023

Авторы: Kacper Kania, Stephan J. Garbin, Andrea Tagliasacchi, Virginia Estellers, Kwang Moo Yi, Julien Valentin, Tomasz Trzciński, Marek Kowalski

cs.AI

Аннотация

Создание достоверных визуализаций человеческих лиц требует учета как крупных, так и мелких деталей геометрии и внешнего вида лица. Существующие методы либо основаны на данных, требуя обширного корпуса информации, недоступного для исследовательского сообщества, либо не способны захватывать мелкие детали, поскольку полагаются на геометрические модели лица, которые не могут представить тонкие текстуры из-за дискретизации сетки и линейной деформации, предназначенных только для моделирования грубой геометрии лица. Мы представляем метод, который устраняет этот разрыв, вдохновляясь традиционными методами компьютерной графики. Невидимые выражения моделируются путем смешивания внешнего вида из ограниченного набора экстремальных поз. Это смешивание выполняется путем измерения локальных объемных изменений в этих выражениях и локального воспроизведения их внешнего вида, когда подобное выражение выполняется во время тестирования. Мы показываем, что наш метод обобщается на невидимые выражения, добавляя тонкие эффекты поверх плавных объемных деформаций лица, и демонстрируем, как он обобщается за пределы лиц.

English

Generating faithful visualizations of human faces requires capturing both coarse and fine-level details of the face geometry and appearance. Existing methods are either data-driven, requiring an extensive corpus of data not publicly accessible to the research community, or fail to capture fine details because they rely on geometric face models that cannot represent fine-grained details in texture with a mesh discretization and linear deformation designed to model only a coarse face geometry. We introduce a method that bridges this gap by drawing inspiration from traditional computer graphics techniques. Unseen expressions are modeled by blending appearance from a sparse set of extreme poses. This blending is performed by measuring local volumetric changes in those expressions and locally reproducing their appearance whenever a similar expression is performed at test time. We show that our method generalizes to unseen expressions, adding fine-grained effects on top of smooth volumetric deformations of a face, and demonstrate how it generalizes beyond faces.