シングルショット暗黙的モーファブルフェイスと一貫性のあるテクスチャパラメータ化
Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization
May 4, 2023
著者: Connor Z. Lin, Koki Nagano, Jan Kautz, Eric R. Chan, Umar Iqbal, Leonidas Guibas, Gordon Wetzstein, Sameh Khamis
cs.AI
要旨
高品質でアニメーション可能かつカスタマイズ可能な3Dアバターの手軽な作成に対する需要が高まっています。3Dモーフィング可能モデルは、編集やアニメーションのための直感的な制御を提供し、単一視点からの顔再構成において堅牢性を発揮しますが、幾何学的および外観の詳細を容易に捉えることはできません。符号付き距離関数（SDF）やニューラルラジアンスフィールドなどのニューラル暗黙的表現に基づく手法は、フォトリアリズムに近づいていますが、アニメーションが難しく、未知のデータに対してうまく汎化しません。この問題に対処するため、我々は、汎用性があり編集が直感的な暗黙的3Dモーフィング可能な顔モデルを構築する新しい手法を提案します。高品質な3Dスキャンのコレクションから学習された我々の顔モデルは、学習されたSDFと明示的なUVテクスチャパラメータ化を用いて、幾何学、表情、テクスチャの潜在コードによってパラメータ化されます。一度学習されると、単一の実世界画像からアバターを再構成するために、学習された事前分布を活用して画像をモデルの潜在空間に投影することができます。我々の暗黙的モーフィング可能な顔モデルは、新しい視点からアバターをレンダリングしたり、表情コードを変更して顔の表情をアニメーション化したり、学習されたUVテクスチャマップに直接ペイントしてテクスチャを編集したりするために使用できます。定量的および定性的に、我々の手法がフォトリアリズム、幾何学、表情の精度において最先端の手法を上回ることを示します。
English
There is a growing demand for the accessible creation of high-quality 3D
avatars that are animatable and customizable. Although 3D morphable models
provide intuitive control for editing and animation, and robustness for
single-view face reconstruction, they cannot easily capture geometric and
appearance details. Methods based on neural implicit representations, such as
signed distance functions (SDF) or neural radiance fields, approach
photo-realism, but are difficult to animate and do not generalize well to
unseen data. To tackle this problem, we propose a novel method for constructing
implicit 3D morphable face models that are both generalizable and intuitive for
editing. Trained from a collection of high-quality 3D scans, our face model is
parameterized by geometry, expression, and texture latent codes with a learned
SDF and explicit UV texture parameterization. Once trained, we can reconstruct
an avatar from a single in-the-wild image by leveraging the learned prior to
project the image into the latent space of our model. Our implicit morphable
face models can be used to render an avatar from novel views, animate facial
expressions by modifying expression codes, and edit textures by directly
painting on the learned UV-texture maps. We demonstrate quantitatively and
qualitatively that our method improves upon photo-realism, geometry, and
expression accuracy compared to state-of-the-art methods.