GNM 헤드: 인간 머리의 생성적 인체측정 모델

초록

인간 머리의 파라메트릭 모델은 전통적으로 컴퓨터 비전 및 그래픽스 분야에서 애니메이션, 렌더링, 재구성을 위해 사용되는 필수 도구입니다. 최근에는 생성형 대규모 비전 모델 내에서 중요한 조건 신호로 활용되어 생성 이미지의 정밀한 공간 제어를 가능하게 합니다. 그러나 기존에 공개된 모델들은 일반적으로 해부학적 범위가 제한적이어서 외부 형상만 모델링할 뿐 구강 내 구조와 안구 구조는 무시하며, 낮은 충실도의 입력 데이터셋으로 인해 기하학적 품질이 저하되는 경우가 많습니다. 본 보고서에서는 인간 게놈(genome)의 동음이의어로 명명된 새로운 파라메트릭 모델인 생성형 인체측정 모델(GNM)을 소개합니다. GNM은 머리, 얼굴, 목, 안구, 치아, 혀를 포함하며, 고해상도 3D 스캔의 광범위한 데이터베이스와 해부학적으로 정밀한 예술가 제작 샘플을 결합하여 구축되었습니다. 본 보고서는 데이터 원천, 안구 및 구강 내 구조를 위한 특화 하위 모델을 포함한 모델 아키텍처를 상세히 설명하고, 타겟 3D 얼굴 스캔 피팅에서의 최첨단 성능을 보여줍니다. 커뮤니티 혁신을 촉진하기 위해 완전한 GNM 프레임워크를 공개합니다.

English

Parametric models of the human head are essential tools traditionally used in computer vision and graphics for animation, rendering, and reconstruction. More recently, they serve as crucial conditioning signals within generative large vision models, allowing for tight spatial control of generated imagery. However, existing publicly available models are typically limited in anatomical scope, modeling only outer geometry while ignoring intra-oral and ocular structures, and frequently suffer from reduced geometric quality stemming from low-fidelity input datasets. In this report we introduce a new parametric model dubbed Generative aNthropometric Model (GNM), named as a homophone of the human genome. GNM encompasses the head, face, neck, eyeballs, teeth, and tongue, and it is built on an extensive database of high-resolution 3D scans combined with high-quality anatomy specific artist-made samples. This report details the data provenance, the model architecture including the specialized sub-models for the ocular and intra-oral structures, and shows its SotA performance on fitting target 3D face scans. To foster community innovation, the complete GNM framework is made publicly available.