FitMe: 사실적인 3D 형태 변형 모델 아바타를 위한 딥러닝 기반 접근법

초록

본 논문에서는 단일 또는 다중 이미지로부터 고해상도의 렌더링 가능한 인간 아바타를 획득하는 데 사용할 수 있는 얼굴 반사 모델 및 미분 가능 렌더링 최적화 파이프라인인 FitMe를 소개합니다. 이 모델은 확산 및 정반사 반사 측면에서 얼굴 외관을 포착하는 다중 모달 스타일 기반 생성기와 PCA 기반 형태 모델로 구성됩니다. 우리는 최적화 파이프라인에서 사용할 수 있는 빠른 미분 가능 렌더링 프로세스를 채택하면서도 사실적인 얼굴 쉐이딩을 달성합니다. 우리의 최적화 프로세스는 스타일 기반 잠재 표현과 형태 모델의 표현력을 활용하여 고해상도로 얼굴 반사와 형태를 정확하게 포착합니다. FitMe는 단일 "인더와일드" 얼굴 이미지에서 최신 반사 획득 및 신원 보존을 달성하며, 동일한 신원에 속하는 다수의 제약 없는 얼굴 이미지가 주어졌을 때 인상적인 스캔과 유사한 결과를 생성합니다. 최근의 암묵적 아바타 재구성과 달리, FitMe는 단 1분만 소요되며 최종 사용자 애플리케이션에서 사용할 수 있는 재조명 가능한 메시 및 텍스처 기반 아바타를 생성합니다.

English

In this paper, we introduce FitMe, a facial reflectance model and a differentiable rendering optimization pipeline, that can be used to acquire high-fidelity renderable human avatars from single or multiple images. The model consists of a multi-modal style-based generator, that captures facial appearance in terms of diffuse and specular reflectance, and a PCA-based shape model. We employ a fast differentiable rendering process that can be used in an optimization pipeline, while also achieving photorealistic facial shading. Our optimization process accurately captures both the facial reflectance and shape in high-detail, by exploiting the expressivity of the style-based latent representation and of our shape model. FitMe achieves state-of-the-art reflectance acquisition and identity preservation on single "in-the-wild" facial images, while it produces impressive scan-like results, when given multiple unconstrained facial images pertaining to the same identity. In contrast with recent implicit avatar reconstructions, FitMe requires only one minute and produces relightable mesh and texture-based avatars, that can be used by end-user applications.

FitMe: 사실적인 3D 형태 변형 모델 아바타를 위한 딥러닝 기반 접근법

FitMe: Deep Photorealistic 3D Morphable Model Avatars

초록

Support