GNM ヘッド: 人間頭部の生成的人体計測モデル

要旨

人間の頭部のパラメトリックモデルは、伝統的にコンピュータビジョンやグラフィックスにおいてアニメーション、レンダリング、再構成に用いられる必須ツールである。近年では、生成的大規模ビジョンモデルにおいて、生成画像の空間的制御を強固に行うための重要な条件付け信号としても機能している。しかし、既存の公開モデルは解剖学的な範囲が限定されていることが一般的であり、外側の形状のみをモデル化する一方で、口腔内や眼球の構造を無視しており、さらに忠実度の低い入力データセットに起因する幾何学的品質の低下を頻繁に伴う。本報告書では、ヒトゲノムの同音異義語として命名された、Generative aNthropometric Model（GNM）と呼ぶ新たなパラメトリックモデルを紹介する。GNMは頭部、顔、首、眼球、歯、舌を網羅し、高品質なアーティスト作成の解剖学的サンプルと組み合わせた高解像度3Dスキャンの広範なデータベースに基づいて構築されている。本報告書では、データの出典、眼球構造および口腔内構造のための特化サブモデルを含むモデルアーキテクチャを詳述し、対象となる3D顔スキャンへのフィッティングにおける最先端の性能を示す。コミュニティのイノベーションを促進するため、GNMフレームワークの完全版は公開されている。

English

Parametric models of the human head are essential tools traditionally used in computer vision and graphics for animation, rendering, and reconstruction. More recently, they serve as crucial conditioning signals within generative large vision models, allowing for tight spatial control of generated imagery. However, existing publicly available models are typically limited in anatomical scope, modeling only outer geometry while ignoring intra-oral and ocular structures, and frequently suffer from reduced geometric quality stemming from low-fidelity input datasets. In this report we introduce a new parametric model dubbed Generative aNthropometric Model (GNM), named as a homophone of the human genome. GNM encompasses the head, face, neck, eyeballs, teeth, and tongue, and it is built on an extensive database of high-resolution 3D scans combined with high-quality anatomy specific artist-made samples. This report details the data provenance, the model architecture including the specialized sub-models for the ocular and intra-oral structures, and shows its SotA performance on fitting target 3D face scans. To foster community innovation, the complete GNM framework is made publicly available.