BlendFields: 少数例による例駆動型顔面モデリング

BlendFields: Few-Shot Example-Driven Facial Modeling

May 12, 2023

著者: Kacper Kania, Stephan J. Garbin, Andrea Tagliasacchi, Virginia Estellers, Kwang Moo Yi, Julien Valentin, Tomasz Trzciński, Marek Kowalski

cs.AI

要旨

人間の顔を忠実に可視化するためには、顔の形状と外観の粗いレベルと細かいレベルの両方の詳細を捉える必要があります。既存の手法は、研究コミュニティに公開されていない膨大なデータコーパスを必要とするデータ駆動型であるか、あるいは粗い顔の形状のみをモデル化するために設計されたメッシュ離散化と線形変形に依存しているため、細かいテクスチャの詳細を捉えることができません。本研究では、従来のコンピュータグラフィックス技術からインスピレーションを得て、このギャップを埋める手法を提案します。未見の表情は、極端なポーズのスパースセットからの外観をブレンドすることでモデル化されます。このブレンディングは、それらの表情における局所的な体積変化を測定し、テスト時に類似した表情が行われた際にその外観を局所的に再現することによって行われます。本手法が未見の表情に一般化し、顔の滑らかな体積変形の上に細かい効果を追加することを示し、さらに顔以外の領域にも一般化する方法を実証します。

English

Generating faithful visualizations of human faces requires capturing both coarse and fine-level details of the face geometry and appearance. Existing methods are either data-driven, requiring an extensive corpus of data not publicly accessible to the research community, or fail to capture fine details because they rely on geometric face models that cannot represent fine-grained details in texture with a mesh discretization and linear deformation designed to model only a coarse face geometry. We introduce a method that bridges this gap by drawing inspiration from traditional computer graphics techniques. Unseen expressions are modeled by blending appearance from a sparse set of extreme poses. This blending is performed by measuring local volumetric changes in those expressions and locally reproducing their appearance whenever a similar expression is performed at test time. We show that our method generalizes to unseen expressions, adding fine-grained effects on top of smooth volumetric deformations of a face, and demonstrate how it generalizes beyond faces.