HeadCraft：アニメーション3DMMのための高詳細形状変形モデリング

要旨

現在の人間の頭部モデリングの進歩により、ニューラル表現を用いて現実的な3D頭部モデルを生成することが可能になっています。しかし、明示的に制御可能なアニメーションを備えた完全な高精細頭部モデルの構築は依然として課題です。さらに、深度センサーからの部分的な観測に基づいて頭部の幾何学を完成させながら、詳細を保持することは、既存の手法ではしばしば問題となります。本論文では、明示的なアニメーションと高詳細の保持を同時に実現する、関節付き3DMM上に構築された詳細な3D頭部メッシュの生成モデルを提案します。我々の手法は2段階で学習されます。まず、最近導入された正確な3D頭部スキャンのNPHMデータセットの各メッシュに対して、頂点変位を伴うパラメトリック頭部モデルを登録します。推定された変位は、手作りされたUVレイアウトに焼き付けられます。次に、変位のUVマップを一般化するためにStyleGANモデルを学習します。パラメトリックモデルと高品質な頂点変位の分解により、モデルのアニメーションと意味的な変更が可能になります。無条件生成および完全または部分的な観測へのフィッティングの結果を示します。プロジェクトページはhttps://seva100.github.io/headcraftで公開されています。

English

Current advances in human head modeling allow to generate plausible-looking 3D head models via neural representations. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g. coming from a depth sensor, while preserving details is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM which allows explicit animation and high-detail preservation at the same time. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model in order to generalize over the UV maps of displacements. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify it semantically. We demonstrate the results of unconditional generation and fitting to the full or partial observation. The project page is available at https://seva100.github.io/headcraft.

HeadCraft：アニメーション3DMMのための高詳細形状変形モデリング

HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

要旨

Support