Relightify: 확산 모델을 통한 단일 이미지에서의 재조명 가능한 3D 얼굴 생성
Relightify: Relightable 3D Faces from a Single Image via Diffusion Models
May 10, 2023
저자: Foivos Paraperas Papantoniou, Alexandros Lattas, Stylianos Moschoglou, Stefanos Zafeiriou
cs.AI
초록
이미지 생성 분야에서 확산 모델(diffusion model)의 놀라운 성공에 이어, 최근 연구들은 조건 입력(conditioning input)을 기반으로 샘플링 과정을 적절히 제약함으로써 다양한 역문제(逆問題)를 비지도 방식으로 해결하는 인상적인 능력 또한 입증했습니다. 이러한 동기에 따라, 본 논문에서는 단일 이미지로부터 고정밀 3D 얼굴 BRDF(Bidirectional Reflectance Distribution Function) 복구를 위한 사전(prior)으로 확산 모델을 사용하는 첫 번째 접근법을 제시합니다. 먼저, 고품질의 얼굴 반사율(확산 및 정반사 알베도와 노멀) UV 데이터셋을 활용하여 다양한 조명 설정 하에서 렌더링하여 자연스러운 RGB 텍스처를 시뮬레이션하고, 이를 기반으로 렌더링된 텍스처와 반사율 요소를 연결한 쌍에 대해 무조건(unconditional) 확산 모델을 학습합니다. 테스트 시에는 주어진 이미지에 3D 형태 모델(3D morphable model)을 맞추고 부분 UV 텍스처로 얼굴을 펼칩니다. 확산 모델로부터 샘플링하면서 관측된 텍스처 부분을 그대로 유지함으로써, 모델은 단일 디노이징(denoising) 단계 시퀀스 내에서 자기 폐색(self-occluded) 영역뿐만 아니라 알려지지 않은 반사율 요소도 채웁니다. 기존 방법들과 달리, 우리는 입력 이미지로부터 관측된 텍스처를 직접 획득함으로써 더 정확하고 일관된 반사율 추정을 가능하게 합니다. 일련의 정성적 및 정량적 비교를 통해, 텍스처 완성과 반사율 복구 작업 모두에서 우수한 성능을 입증합니다.
English
Following the remarkable success of diffusion models on image generation,
recent works have also demonstrated their impressive ability to address a
number of inverse problems in an unsupervised way, by properly constraining the
sampling process based on a conditioning input. Motivated by this, in this
paper, we present the first approach to use diffusion models as a prior for
highly accurate 3D facial BRDF reconstruction from a single image. We start by
leveraging a high-quality UV dataset of facial reflectance (diffuse and
specular albedo and normals), which we render under varying illumination
settings to simulate natural RGB textures and, then, train an unconditional
diffusion model on concatenated pairs of rendered textures and reflectance
components. At test time, we fit a 3D morphable model to the given image and
unwrap the face in a partial UV texture. By sampling from the diffusion model,
while retaining the observed texture part intact, the model inpaints not only
the self-occluded areas but also the unknown reflectance components, in a
single sequence of denoising steps. In contrast to existing methods, we
directly acquire the observed texture from the input image, thus, resulting in
more faithful and consistent reflectance estimation. Through a series of
qualitative and quantitative comparisons, we demonstrate superior performance
in both texture completion as well as reflectance reconstruction tasks.