BlendFields: 소수 샘플 기반 얼굴 모델링

초록

사람 얼굴의 충실한 시각화를 생성하기 위해서는 얼굴의 기하학적 구조와 외관의 거시적 및 미시적 세부 사항을 모두 포착해야 합니다. 기존 방법들은 연구 커뮤니티가 공개적으로 접근할 수 없는 방대한 데이터 코퍼스를 요구하는 데이터 기반 방식이거나, 미세한 세부 사항을 포착하지 못하는데, 이는 거시적 얼굴 기하학만을 모델링하도록 설계된 메쉬 이산화 및 선형 변형을 사용하여 텍스처의 미세한 세부 사항을 표현할 수 없는 기하학적 얼굴 모델에 의존하기 때문입니다. 우리는 전통적인 컴퓨터 그래픽 기법에서 영감을 얻어 이러한 격차를 메우는 방법을 소개합니다. 보이지 않는 표정들은 극단적인 포즈의 희소 집합에서 외관을 혼합하여 모델링됩니다. 이 혼합은 해당 표정에서의 지역적 체적 변화를 측정하고, 테스트 시간에 유사한 표정이 수행될 때마다 그 외관을 지역적으로 재현함으로써 수행됩니다. 우리의 방법은 보이지 않는 표정들로 일반화되며, 얼굴의 부드러운 체적 변형 위에 미세한 효과를 추가하고, 얼굴을 넘어서도 일반화되는 방식을 보여줍니다.

English

Generating faithful visualizations of human faces requires capturing both coarse and fine-level details of the face geometry and appearance. Existing methods are either data-driven, requiring an extensive corpus of data not publicly accessible to the research community, or fail to capture fine details because they rely on geometric face models that cannot represent fine-grained details in texture with a mesh discretization and linear deformation designed to model only a coarse face geometry. We introduce a method that bridges this gap by drawing inspiration from traditional computer graphics techniques. Unseen expressions are modeled by blending appearance from a sparse set of extreme poses. This blending is performed by measuring local volumetric changes in those expressions and locally reproducing their appearance whenever a similar expression is performed at test time. We show that our method generalizes to unseen expressions, adding fine-grained effects on top of smooth volumetric deformations of a face, and demonstrate how it generalizes beyond faces.

BlendFields: 소수 샘플 기반 얼굴 모델링

BlendFields: Few-Shot Example-Driven Facial Modeling

초록

Support